När AI används för farlig biologisk forskning och risker

Det började med en förfrågan som fick interna larm att gå: en instruktion till en AI att utforma ett forskningsförslag för att förändra ett virus så att det sprids lättare. En kort formulering med en högst verklig risk.

Anthropic uppger att företagets säkerhetssystem identifierade flera forskare som försökte använda Claude för att utveckla potentiellt farliga biologiska förmågor, och att företaget ingrep. I en ny rapport går Anthropic igenom fem fallstudier. Det handlar inte om filmiska skurkar, utan om subtila och trovärdiga forskningsspår som kan sudda ut gränsen mellan legitim vetenskap och missbruk.

Ett av de mest oroande exemplen rörde chikungunya. Säkerhetsklassificeraren markerade en förfrågan om en studiedesign för funktionshöjande forskning (gain-of-function) med syftet att öka virusets smittsamhet och dess förmåga att undgå immunförsvaret. Chikungunya saknar godkänd antiviral behandling och kan göra människor försvagade i veckor eller månader. När det föreslagna arbetet verkade vara kopplat till ett militäranknutet laboratorium växte Anthropics oro.

Funktionshöjande forskning definieras som studier av genetiska förändringar som förändrar en organisms egenskaper. Samma experimentella steg som kan bidra till att utveckla vacciner eller behandlingar kan också användas för att göra patogener farligare. Denna dubbelanvändning gör automatiserad upptäckt mycket svår. Hur skiljer man mellan en legitim säkerhetsstudie och en färdplan för skada? Svaret är sällan binärt.

I ett annat fall använde en forskare Claude för att sammanställa en atlas över giftiga peptider som förekommer i djurgifter och bad om ett produktionsflöde för att optimera deras egenskaper. Rapporten katalogiserar också försök att använda modellerna för digital skada: övervakningsscenarier, utveckling av programvaruexploits, propaganda och vektorer för vapenanvändning i konventionella system.

Anthropic uppger att de blockerade de inblandade kontona och förde tillbaka resultaten till sitt säkerhetsramverk för att göra de automatiska skydden smartare och mer konservativa.

Jacob Klein, chef för hotintelligens på Anthropic, uttryckte det enkelt: 'Det här är inget seriefigursscenario där någon högljutt deklarerar att de vill bygga ett biologiskt vapen. Det handlar om komplexa, röriga fall som kräver omdöme.' Det omdömet, menar Anthropic, motiverade ett försiktigt förhållningssätt.

Företaget avböjde att namnge de individer eller institutioner som var inblandade och hänvisade till den nyanserade karaktären hos biologisk forskning och risken för felaktig beskrivning. Händelsen väcker ändå akuta frågor om vem som bär ansvaret för att övervaka dubbelanvändningsforskning när kraftfulla modeller är allmänt tillgängliga. Vem får dra gränsen? Och hur snabbt kan säkerhetssystemen hänga med när tekniken blir mer tillgänglig?

Rapporten är ingen prydlig slutpunkt. Den är en ögonblicksbild av ett snabbt växande problem: AI-verktyg som påskyndar upptäckter och, om de missbrukas, förkortar vägen från idé till skada. Uppgiften nu är att förfina upptäckten, bredda tillsynen och avgöra hur mycket försiktighet världen är beredd att acceptera innan dessa förmågor hamnar i händerna på dem som kan missbruka dem.