Microsoft presenterar Maia 300: effektivt AI-inferenschip

Microsoft har presenterat Maia 300, den tredje generationen av företagets skräddarsydda AI-inferenschip. Enligt Microsoft kan konstruktionen bearbeta omkring 40 procent fler token per megawatt än ledande GPU-baserade system. Företaget beskriver Maia 300 som en specialbyggd inferensaccelerator som är tänkt att bli den primära inferensinfrastrukturen för Microsofts produkter och tjänster.

Microsoft räknar med att Maia 300 tas i produktionsdrift 2027. I ett uttalande sade Scott Guthrie, verkställande vice vd för molntjänster på Microsoft, att förbättringarna gör det möjligt för företaget att i högre grad förlita sig på egna specialanpassade chip och minska beroendet av Nvidia och AMD. Guthrie tillade att Microsoft från 2027 kommer att utveckla Azure Maia-chipfamiljen i stor skala, på flera gigawatt, så att chipen kan fungera som huvudinferensinfrastruktur i hela företaget.

Prestanda och roll i Microsofts teknikstack

I en fullständig konfiguration med 96 acceleratorer kan Maia 300 ge upp till sju gånger högre genomströmning för tokenbearbetning per rack än Maia 200, föregående generations chip som Microsoft presenterade så sent som i januari. Maia 200 används redan för en rad Microsoft-arbetslaster, däribland Microsoft Copilot, GitHub Copilot, Microsoft Foundry och företagets egna AI-modeller. Guthrie sade att Maia 200 fortfarande är den bästa beräkningsinfrastrukturen i Microsofts flotta sett till faktiska prestandamätvärden för AI-tjänster, medan Maia 300 har utformats som ett komplett system för nästa generations AI-arbetslaster.

Microsoft beskriver Maia 300 som optimerat för resonemangsarbetslaster med långa kontexter, konversationsupplevelser med låg latens och kontinuerliga agentuppgifter i flera steg. Företaget positionerar chipet för inferens snarare än träning.

Chiparkitektur och tillverkning

Maia 300 bygger på en chipletarkitektur med TSMC:s N2P-process. Microsoft uppger att konstruktionen separerar beräkningsblock, minneskontroller och I/O-funktioner, vilket frigör mer kiselyta för beräkningar och gör det möjligt att använda teknik som är anpassad för varje blocks uppgift. Azure-teamet för hårdvara och infrastruktur uppger att tillvägagångssättet ger högre effektivitet och gör det möjligt att finjustera chipet för specifika inferensfunktioner.

Microsoft signalerar också att Maia 300 kommer att spela en betydande roll i företagets egna planer för modellutveckling och distributionsstrategi. Mustafa Suleyman, vd för Microsoft AI, sade att företaget måste utveckla alla lager i teknikstacken, från modeller till kisel, och att Microsofts planerade skala kräver en dedikerad plattform som samutvecklats med modellerna. Han tillade att det är högprioriterat för teamet att köra Microsofts proprietära modeller på Maia.