OpenAI och Broadcoms Jalapeno - ny ASIC för AI-drift

En kompakt chip anlände till OpenAI den här veckan och det kändes som mer än hårdvara. Det var ett uttalande. Namngiven Jalapeno markerar den nya ASIC:en OpenAI:s första interna chipinsats, byggd i samarbete med Broadcom för att påskynda AI-inferens för företaget som gav världen ChatGPT.

OpenAI kallar designen en Intelligence Processor och beskriver den som den första acceleratorn i en plattform företaget bygger för att köra avancerade modeller snabbare, mer pålitligt och i större skala. Broadcom kommer att tillverka kisel. OpenAI uppger att de designade Jalapeno på ungefär nio månader och också utvecklade stora delar av de omkringliggande beräkningssystemen där dessa chip kommer att köras.

Varför detta spelar roll för AI-beräkningar

Nvidias GPU:er har varit ryggraden i modern AI. De är flexibla och kraftfulla. Men de kommer med höga prisnivåer och leveransflaskhalsar. ASIC:er byter bort viss flexibilitet mot effektivitet och kostnadsbesparingar. Det gör dem attraktiva när en arbetsbelastning kan optimeras noggrant. Jalapeno är OpenAIs satsning att noggrant anpassad hårdvara kan ge mer beräkningskraft per watt och hjälpa företaget att skala tillgången till avancerade modeller.

Säger det att OpenAI gör slut med Nvidia? Inte riktigt. Det handlar om diversifiering, drivet av en efterfrågan som fortsätter att öka. Tidigare i år ingick OpenAI avtal för att använda Amazons Trainium-chip och skrev partnerskap med AMD och Cerebras. Nu, med Broadcom som producerar Jalapeno, siktar OpenAI på att lägga till ännu en pålitlig väg till rå beräkningskapacitet när de bygger rack med specialhårdvara som, vid full ambition, kan kräva omkring tio gigawatt effekt.

Det finns även praktiska milstolpar. En fysisk provbit av Jalapeno levererades på onsdagen. Företagen säger att de förväntar sig initiala driftsättningar mot slutet av 2026 och bredare utrullningar under de följande åren. Om tidsplanerna håller kan vi bevittna början på en betydande förändring i hur stora språkmodeller tillhandahålls i produktion.

Broadcom kände av nyheten. Deras aktie steg med cirka två procent efter tillkännagivandet. Chipptillverkaren har varit en av AI-marknadens vinnare, med aktier upp ungefär tio procent hittills i år och nästan sju gånger sedan slutet av 2022, i takt med att stora molnleverantörer och AI-labb beställer specialanpassat kisel.

Det finns avvägningar. ASIC:er är mindre flexibla än allmänna GPU:er, så de fungerar bäst när de kombineras med en exakt mjukvaru- och systemstack. OpenAIs argument är att genom att designa mer av den stacken själva kan de pressa ut bättre effektivitet och utöka tillgången till kraftfulla AI-verktyg. Kort sagt: bygg motorn, fintrimma bilen och du kan köra längre för mindre.

Det verkliga testet blir prestanda på verkliga arbetsbelastningar och hur snabbt OpenAI kan skala produktionen med Broadcom. För tillfället är Jalapeno ett djärvt steg mot hårdvaruoberoende och en påminnelse om att AI-leveranskedjan utvecklas från standardkomponenter till specialplattformar som är konstruerade för en ny klass mjukvara.