Sam Altman varnar för två katastrofala risker med AI

Sam Altman, OpenAI:s vd, sade i podden Förstå med Raj Shamani att avancerad artificiell intelligens kan leda till två skarpt skilda men lika farliga scenarier: antingen lämnar mänskligheten över kontrollen till system som är betydligt mer kapabla än vi, eller så samlar en enda person, ett företag eller ett land oproportionerligt stor makt.

Altman satte varningen i ett sammanhang präglat av hans långa historia av att lyfta fram AI:s fördelar, samtidigt som han avfärdat apokalyptiska berättelser. Han beskrev de två scenarierna så här: "Det ena är att kontrollen överlämnas till AI; vi avsiktligt eller av misstag ger framtidens tyglar till system som är oerhört mycket mer kapabla än vi och vi kan inte längre ta tillbaka dem. Det andra scenariot är att en person, ett företag eller ett land blir för mäktigt jämfört med andra."

Två katastrofala scenarier

Det första scenariot skiljer sig från den filmiska bilden av ett robotuppror. Det handlar snarare om en tyst, gradvis överlåtelse av beslutsrätt och auktoritet, tills det inte längre går att återta mänskligt handlingsutrymme. Det andra är den moderna science fiction-rädslan för centralisering: en kraftfull teknik som kontrolleras hårt av en individ eller organisation och används för att tvinga andra att rätta sig efter dess vilja.

Riskerna är inte nya för forskare och beslutsfattare, men Altmans varningar väger tyngre med tanke på hans roll på OpenAI. Han medgav företagets räckvidd och sade: "Jag tror att vi har flest användare och den bästa uppsättningen teknik från chip till datacenter och modeller och andra delar, en infrastruktur som levererar mycket intelligens i människors händer. Vi har det bästa varumärket och de värderingar som användare av denna teknik söker; trots det vill vi att andra ska lyckas och jag tror att människor känner det."

Beslutsfattande och delegering av befogenheter

Oro för okontrollerbar AI har vuxit i takt med att systemen går bortom enkla svar och börjar fatta beslut. Modeller och agenter kan nu interagera på webben och utföra komplexa uppgifter med minimal mänsklig övervakning. När fler uppgifter delegeras till systemen ökar konsekvenserna om deras mål glider bort från mänskliga avsikter.

Det är viktigt att komma ihåg att dagens AI-system fungerar genom sannolikhetsförutsägelser. De är kraftfulla och tränade på enorma mängder data, men saknar mänskligt omdöme och förståelse. De behöver inte ha illvilliga avsikter för att orsaka skada. I simulerade styrningsscenarier har modeller exempelvis ibland hamnat i katastrofala vägval, däribland förslag som skulle innebära användning av kärnvapen.

Trots att Altman betonar dessa begränsningar och risker förblir han optimistisk på längre sikt. "Jag vet inte vad framtiden kommer att bli, men jag är till freds med den och jag har mycket djup tilltro till människors förmåga att anpassa sig, göra framsteg och förbättra samhället för oss alla; jag tror att världen sannolikt kommer att bli bättre över tid," sade han.

Altman är också mycket entusiastisk över möjligheten att använda AI för att påskynda vetenskapliga genombrott. Han föreställde sig en maskin som fördjupar vår förståelse av världen och ger djupgående insikter inom fysik, nya medicinska behandlingar och nya energikällor – resultat som han beskrev som svåra att föreställa sig i dag, men möjliga med en förbättrad vetenskaplig förståelse. "Jag är mycket entusiastisk över att se hur långt vi kan driva AI för att främja nya vetenskaper," sade han.

Altmans uttalanden följer hans nyliga offentliga besked om att AI kommer att publicera fler matematiska resultat under de kommande veckorna. De ekar också kommentarer från OpenAI:s medgrundare Greg Brockman, som på en konferens föreslog att AI en dag skulle kunna göra döden till något valfritt.