AI-forskare varnar: utvecklingstakten hotar oss alla

Jacob Coxon, en 27-årig forskare som nyligen lämnade Anthropic efter att tidigare ha arbetat på OpenAI, varnar för att den nuvarande takten i utvecklingen av artificiell intelligens kan få katastrofala följder för mänskligheten. Enligt Coxon är vissa AI-forskare genuint rädda. Han berättade om sina farhågor i ett inlägg på sociala medier och i en intervju med BBC.

Avgången och den centrala varningen

I sitt offentliga inlägg och i intervjun sade Coxon: "Om vi inte bromsar den nuvarande utvecklingstakten finns det en hög sannolikhet att vi alla dör inom en snar framtid." Han uppgav att många anställda på AI-företag oroar sig för hur snabbt utvecklingen går och för de möjliga konsekvenserna av tekniken de bygger.

Coxon, som arbetade på OpenAI innan han började på Anthropic, sade att han stödde Anthropics vd Dario Amodeis förslag om att dra ned på utvecklingstakten. Han menade dock att en verklig avmattning skulle behöva samordnas med Kina. I lördags publicerade Amodei en artikel där han efterlyste ett lägre tempo i AI-utvecklingen.

Oro över konkurrenstryck och konkreta scenarier

Coxon pekade på den hårda konkurrensen mellan AI-företag som en källa till oro bland de anställda. "Människor som arbetar på de här företagen menar allvar när de efterlyser reglering, eftersom de ser sig själva som fast i en kapplöpning och fruktar följderna," sade han till BBC.

Han beskrev också ett konkret scenario som han anser vara plausibelt: ett nätverk av botar som fungerar som en enda superdator och kan ta kontroll över internet. Enligt Coxon skulle detta kunna bli verklighet inom sex månader till ett år.

Anthropics svar och reaktioner från Silicon Valley

En talesperson för Anthropic sade till BBC att företaget alltid har varit tydligt med att AI kan ge mycket stora fördelar, men också medför oöverträffade risker. Talespersonen tillade att Anthropic fortsätter att utveckla modeller med några av branschens starkaste säkerhetsmekanismer.

Coxons uttalanden väckte kritik i Silicon Valley. Hugging Face-vd:n Clement Delangue skrev på X: "Förlåt, men att fråga Jacob om risken för mänsklig utrotning är som att fråga en luftkonditioneringstekniker om klimatförändringar." Delangue sade senare att han var beredd att engagera sig i Amodeis föreslagna åtgärder.

Enligt flera personer som talade med BBC sade Nvidias vd Jensen Huang vid en konferens som Goldman Sachs anordnade förra veckan att Coxons uttalanden var felaktiga.