Googles Frozen v2: specialiserad AI-accelerator för moln

Föreställ dig ett serverchip som inte bara kör en modell, utan subtilt följer dess spelschema. Ingenjörer på Google bygger tyst precis det: en serveraccelator med kodnamn Frozen v2 som bakar in delar av Gemini-arkitekturen i kisel, med sikte på radikalt högre energieffektivitet och lägre latens.

Informationen kommer från en rapport i The Information som citerar två insynspersoner. Deras påstående är slående: Frozen v2 skulle kunna bearbeta sex till tio gånger fler tokens per watt än Googles senaste TPU:er. Målet? 2028. Motivationen är rakt på sak och bekant för alla som sett molnbehov överträffa kapaciteten, Google Cloud sägs ha tvingats avvisa vissa kundavtal på grund av en AI-processorbrist.

Inbäddad arkitektur istället för regler

Traditionella TPU:er och GPU:er är generalister. Du laddar en modell och hårdvaran fattar många beslut vid körning, till exempel hur data ska flyttas, vilka operationer som ska schemaläggas och när minne ska hämtas. Denna flexibilitet är kraftfull. Men den medför overhead. Frozen v2 tar en annan väg: den fastlägger vissa Gemini-specifika beslut i transistornivålogiken. Resultatet blir färre exekveringssteg och mindre data som flyttas per förfrågan. Mindre rörelse. Mindre overhead. Lägre latens. Nya realtidstillämpningar blir möjliga.

Det fanns en ännu djärvare idé på bordet. Tidiga Frozen-designs ledda av Jeff Dean försökte enligt uppgift hårdkoppla modellvikter direkt i kisel. Det hade varit en radikal optimering. Det hade också åldrats snabbt, chips som är knutna till en enda modellversion får en mycket kort användbar livslängd. Google valde en kompromiss. Frozen v2 skulle bädda in arkitekturens skelett samtidigt som vikterna kan uppdateras, så att samma chip kan tjänstgöra flera Gemini-utgåvor så länge de följer samma arkitekturmönster.

Detta tillvägagångssätt skulle kunna korta svarstider tillräckligt för att låsa upp nya klasser av interaktiva och låglatens-AI-applikationer.

Google har inte för avsikt att ersätta sin TPU-flotta med Frozen v2. Tänk på det som en experimentell bana som körs parallellt med TPU-produktion, ett testfält för mer specialiserad kisel medan modellernas design stabiliseras. TPU-produktplanen skilde nyligen också tränings- och inferensbehoven åt med åttonde generationens chip som tillkännagavs på Cloud Next i april. Frozen v2-insatsen är mindre i skala; Google planerar inte massproduktion på samma nivå som TPU:er.

Frozen v2:s förväntade ankomst sammanfaller också med andra branschrörelser. Google har enligt uppgift kontrakterat Intel för att paketera mer än tre miljoner TPU-chip till 2028. Samtidigt utforskar startups och konkurrenter redan modellmedvetet kisel. Toronto-baserade Taalas lanserade sin HC1-chip kopplat till Llama 3.1 8B och säger att det når 17 000 tokens per sekund utan inbyggd HBM. Startupen tog in cirka 186 miljoner euro i finansiering. Och förra året skrev Nvidia ett teknologilisensavtal med Groq värt omkring 18,6 miljarder euro, bevis på att marknaden ser stort värde i att integrera modellbeteende och hårdvara.

Det finns kompromisser. Att bädda in arkitektur minskar vissa typer av flexibilitet. Det gynnar användningsfall där modellfamiljer förblir konsekventa över tid. Det förändrar också produktlivscykeln: kisel designat kring en modellarkitektur måste motiveras av förutsägbar designstabilitet och distributionsskala. Det förklarar Googles försiktiga hållning. Frozen v2 är experimentellt; inte varje experiment blir en produkt.

För nu har Google inte offentligt bekräftat Frozen v2. En företagsrepresentant påminde The Information om att många interna projekt aldrig når produktion. Ändå har den grundläggande idén, att flytta en del av modellens logik in i kisel för att spara energi och minska latens, gått från akademisk nyfikenhet till konkurrensstrategi. Räkna med att fler företag testar liknande kombinationer av modellmedveten hårdvara och uppdateringsbara vikter i takt med att efterfrågan på effektiv och låglatens-AI fortsätter att öka.