Nadella: Designa AI med kontroll, övervakning och loggning

Microsofts vd Satya Nadella skrev i ett långt inlägg på X att utvecklare och tillsynsmyndigheter bör utgå från att avancerade AI-modeller i grunden innebär en potentiell risk. Därför måste de utformas med kontroller som gör att de kan begränsas och uppfylla kraven på AI-säkerhet. Han menade att den ”tillitsarkitektur” som omger AI behöver ses över och att dagens praxis, där kraftfulla modeller behandlas som inneslutna svarta lådor, är otillräcklig.

Separera modeller från styrning och tillsyn

Nadella sade att vi måste sluta acceptera en modells rekommendationer, svar eller åtgärder utan strukturella skyddsmekanismer. Han föreslog arkitekturer där modeller hålls åtskilda från systemen som styr och utför uppgifter, så att inneslutning och säkerhetskontroller kan placeras utanför själva modellen. En sådan separation skulle, enligt honom, möjliggöra mer oberoende tillsyn och övervakning av modellernas beteende.

Vid en kompromettering rekommenderade Nadella att man utgår från att en modell kan vara utom kontroll redan från början och bygger in begränsningar därefter. Han beskrev det som ett operativt säkerhetskrav: ”Vi bör anta att modellen är utom kontroll från början och vi måste begränsa den. Tänk på det som en nödbroms. En behörig person ska alltid kunna stoppa eller stänga av modellen medan den utför en uppgift.” Han tillade att mer kapabla modeller kommer att kräva mer avancerade inneslutningstekniker och att gemensamma standarder för sådana tekniker bör utvecklas.

Utöver stoppkontroller efterlyste Nadella omfattande loggning av modellernas viktigaste åtgärder. Han krävde register som både kan läsas av människor och står emot manipulation, så att prestanda och beslut kan granskas och revideras. Sådana register skulle, enligt honom, underlätta granskning och bedömning av hur modeller fungerar i praktiken.

Många delar av Nadellas förslag ligger i linje med rekommendationer som redan har lyfts inom AI-gemenskapen. Han noterade att frågor som snabb incidentrapportering, oberoende granskning, verifierbar dataproveniens och mekanismer för att innesluta modeller som beter sig oväntat redan diskuteras.

Nadella presenterade inga tekniska ritningar eller tidsramar i inlägget. Hans kommentarer var formulerade som förslag och principer snarare än konkreta policyrekommendationer. Han betonade behovet av gemensamma standarder och starkare externa kontroller för att möjliggöra en mer robust och oberoende tillsyn av avancerade AI-system.