OpenAI lanserar Kontrollrummet för snabb avstängning

OpenAI uppger att det nya centraliserade systemet Kontrollrummet kan stoppa en modell från att generera ytterligare utdata inom som mest 35 sekunder efter ett stopkommando.

Företaget beskriver Kontrollrummet som ett säkerhetslager som kopplar samman forskningsjobb, inferensmotorer och en central auktoriseringstjänst. Därmed kan pågående forskningsprocesser med potentiella risker avbrytas. OpenAI uppger att systemet nu har införts i hela forskningsinfrastrukturen.

Så fungerar avstängnings- och återkallelsemekanismen

Kontrollrummet kopplar samman tre huvudkomponenter: forskningsjobbet, inferensmotorn och den centraliserade Kontrollrumstjänsten. I OpenAIs terminologi är ett forskningsjobb en uppgift, exempelvis experiment med förstärkningsinlärning, utvärderingar eller omfattande databehandlingsjobb som kräver agentbaserad inferens.

Varje uppgift som kräver agentbaserad inferens måste kopplas till en godkänd säkerhetsfil. När en forskare startar en process begär uppgiftskoden ett unikt jobb-ID från Kontrollrummet. Jobb-ID:t läggs sedan till i varje förfrågan som skickas till inferensmotorerna, som kör modeller direkt på GPU:er och genererar utdata.

Innan en inferensmotor returnerar ett svar kontaktar den Kontrollrummet för att bekräfta att uppgiften fortfarande är auktoriserad. Om en forskare eller ett automatiserat övervakningssystem skickar en stoppsignal nekar Kontrollrumstjänsten nästa förfrågan, och inferensmotorn förhindrar ytterligare utdata. OpenAI påpekar att programkod inte nödvändigtvis avslutas eller stängs ned. I stället blockeras modellens möjlighet att producera utdata. Konstruktionen flyttar det kritiska valideringslagret till inferensmotorn och minskar beroendet av säkerhetskontroller som varje forskare implementerar i enskilda kodbaser.

OpenAI uppger att Kontrollrummet bygger på principen att blockera vid fel som standard. Om den centraliserade tjänsten drabbas av ett fel, manipuleras eller går offline behandlar inferensmotorerna inga förfrågningar förrän systemet har återställts.

Företaget förklarar den maximala fördröjningen på upp till 35 sekunder mellan en utfärdad stoppsignal och den faktiska blockeringen av utdata med ett cachelager som används för att hantera stora förfrågningsvolymer. OpenAI uppger att företaget arbetar för att minska intervallet mot noll.

OpenAI uppger att Kontrollrummet nu är driftsatt i hela forskningsinfrastrukturen.