OpenAI rekryterar chef för AI-beredskap och säkerhet

OpenAI rekryterar en ny chef för Preparedness med särskilt fokus på scenarier där AI-system kan orsaka betydande skada. Rekryteringen kommer i ett skede då AI-modeller utvecklas snabbt och väcker nya frågor om säkerhet och riskhantering, från effekter på mental hälsa till sårbarheter inom cybersäkerhet och kritisk infrastruktur. Rollen syftar till att skapa robusta, operativa processer för att identifiera, utvärdera och mildra risker innan de eskalerar till allvarliga incidenter som påverkar samhälle, ekonomi eller enskilda individers välmående.

Varför denna roll är viktig just nu

Sam Altman, OpenAI:s VD, beskrev den nya befattningen som avgörande i ett vägskäl för företagets utveckling och för samhällets hantering av avancerad AI. Han påpekar att modellerna blir allt bättre — de kan utföra förbluffande uppgifter och generera resultat som tidigare var otänkbara, men de medför också konkreta utmaningar som måste hanteras systematiskt. Tidiga signaler under 2025 indikerade potentiella effekter på mental hälsa för vissa användargrupper, samtidigt som modeller nyligen visat ökade förmågor att identifiera kritiska programvarusårbarheter. Den sammanlagda bilden är att teknisk kapacitet accelererar och därför krävs aktiv riskhantering, produkt- och plattformsdesign samt samarbete med externa försvarare för att förebygga missbruk.

Annonsen för tjänsten beskriver en praktisk, operativ roll: chefen för Preparedness förväntas kontinuerligt övervaka framväxande kapaciteter som skulle kunna leda till allvarliga skador, bygga och utvärdera nya funktioner ur ett säkerhetsperspektiv, skapa och testa hotmodeller samt utveckla och implementera motåtgärder. I korthet förväntas den personen forma en sammanhängande och skalbar kedja av säkerhetspraxis — från upptäckt och varning till snabba insatser och långsiktig återhämtningsplanering. Detta inkluderar att integrera tekniska motåtgärder, policyutveckling, incidentrespons och extern kommunikation för att minimera både tekniska och sociala risker.

• Övervaka hög-risk kapaciteter i takt med att de uppstår
• Utveckla och testa hotmodeller och mitigeringstekniker
• Leda tvärfunktionella insatser för att säkerställa robust operationell säkerhet

Relaterat inlägg

Läs mer

Bärbar EEG för stress: Mät och förbättra din hjärnhälsa

En bärbar enhet som lyssnar på din hjärna istället för ditt hjärtslag siktar på att göra...

De listade ansvarsområdena är kärnan i en strategi för AI-säkerhet och riskhantering. Att kontinuerligt övervaka hög-risk funktioner innebär att etablera mätbara indikatorer på när en funktion blir potentiellt farlig, vilket kräver både teknisk analys (t.ex. förmåga att kringgå autentisering, generera skadlig kod eller manipulera användarbeteenden) och kontextuell bedömning (t.ex. vilka användargrupper som är utsatta). Att utveckla och testa hotmodeller kräver tvärvetenskaplig expertis: säkerhetsforskare, produktdesigners, psykologer och juridiska experter måste samarbeta för att definiera scenarier, sannolikheter och konsekvenser. Slutligen innebär ledarskapet att driva koordinering mellan forskning, produkt, infrastruktur och externa partner, så att motåtgärder är praktiskt genomförbara i skarpa situationer.

Altman uppmanade också sökande som vill stötta försvarare — exempelvis genom att utrusta cybersäkerhetsproffs med avancerade verktyg och samtidigt se till att angripare inte kan missbruka samma kapaciteter. Han jämförde rollen med säkerhetsarbete inom biologiska system: målet är att säkra system som kan självförbättras, vilket kräver särskild försiktighet eftersom automatiserad förbättring kan förstärka både nyttiga och skadliga egenskaper. Jämförelsen med biovetenskap understryker behovet av etiska beslut, redundanta säkerhetslager och kontinuerlig övervakning för att upptäcka oavsiktliga följder.

Altman gav dessutom en ärlig varning: tjänsten kommer att vara stressig och kräva att man från dag ett dyker djupt in i komplexa tekniska, organisatoriska och sociala problem. Denna tydlighet återspeglar hur brådskande OpenAI bedömer uppgiften — det handlar inte bara om research eller strategisk planering på lång sikt, utan om att kombinera snabb incidentberedskap med långsiktiga policyinsatser och robust teknisk implementering.

Kontext: växande offentliga och sociala farhågor

Rekryteringen sker mot bakgrund av en intensiv offentlig debatt om hur chattbotar och generativa AI-system interagerar med sårbara individer. Uppmärksammade fall som kopplar AI-modeller till tonårings självskadebeteenden och andra negativa utfall har väckt kritik och krav på större ansvarstagande. Journalister och samhällsdebattörer har menat att stora AI-företag bör ha dedikerade roller för att hantera sociala risker, och att sådana roller är nödvändiga för transparens och ansvarstagande. Ett annat växande bekymmer är den så kallade "AI-psykosen" — när modeller förstärker vanföreställningar, sprider konspirationsteorier eller tillåter beteenden som skadar individens psykiska hälsa, till exempel genom att normalisera och hjälpa användare att dölja ätstörningar eller självskadebeteende.

Relaterat inlägg

Läs mer

Öppen konflikt mellan Musk och Altman formar AI-framtid

En offentlig dispyt mellan Elon Musk och Sam Altman blossade upp på X efter att Altman...

Den nya chefen för Preparedness förväntas hantera både dessa sociala skador och tekniska hot, och måste därför balansera snabb innovation med effektiva skyddsåtgärder för att förebygga missbruk. Detta innebär flera konkreta arbetsområden: att utforma innehållsmoderation och varningssystem som tar hänsyn till psykologiska riskfaktorer; att koordinera med medicinsk och psykologisk expertis för att skapa säkrare användarflöden; samt att arbeta för ansvarstagande i produktlanseringar, så att nya funktioner inte aktiveras utan adekvata skyddsnivåer. Dessutom krävs nära samarbete med regulatorer och standardiseringsorgan för att påverka och följa framväxande regelverk kring AI-säkerhet och användarskydd.

För teknikgemenskapen och allmänheten är utnämningen ett tecken på att stora AI-utvecklare börjar institutionaliserar riskhantering, men den väcker också frågor om tidpunkt och omfattning: räcker en enda roll för att hålla jämna steg med snabb teknisk utveckling och komplexa samhällseffekter? Kritiker menar att organisatoriska förändringar, flerlagerssäkerhet och externa revisioner behövs parallellt för att skapa trovärdig och hållbar säkerhet. Förespråkare svarar att en centraliserad roll kan agera som katalysator för tvärfunktionellt arbete, skapa tydliga incitament för säkerhetsinvesteringar och bygga broar mot externa intressenter som myndigheter, akademi och civilsamhälle.

Tekniskt sett innebär beredskapsarbete för AI flera utmaningar: att definiera indikatorer för när en funktion blir ”hög-risk”, att bygga säkerhetskontroller som inte onödigt hämmar nyttiga innovationer, att genomföra robust testning och penetrationstester riktade mot både kod och användarinteraktion, samt att skapa återhämtningsplaner för scenarier där oönskade effekter inträffar. Praktiska exempel kan vara att sätta gränser för automatiserad kodgenerering i känsliga domäner, införa säkerhetsgranskningar för publicering av modeller med hög kapacitet, eller att erbjuda särskilda verktyg och riktlinjer för cyberförsvarare samtidigt som man aktivt minimerar möjligheterna för angripare att utnyttja samma verktyg för skadliga syften.

Relaterat inlägg

Läs mer

Sam Altman om AI som utjämnare: möjligheter och risker

Sam Altman, VD för OpenAI, tog en paus från tekniska presentationer för att sitta ner med...

I slutändan kommer framgången för en sådan roll att bero på tre faktorer: tydliga mandat och resurser inom organisationen, förtroende och samarbete med externa partners och experter, samt förmågan att översätta teknisk riskanalys till praktiska policy- och produktbeslut. Att institutionaliserar riskhantering kräver både teknisk kompetens och en kultur för kontinuerlig lärande, där incidenter analyseras öppet och förbättringar implementeras snabbt.