5 Minuter
Be en AI-chatbot om en aktiekurs, ett domstolsdatum eller namnet på en företagsledare, och svaret kan komma med fullständig självsäkerhet. Det är det oroande. Meningen kan låta välformulerad, tonen kan verka säker, och uppgifterna kan ändå vara fel.
En ny tillförlitlighetsanalys från Legal Guardian Digital, ett SEO-företag inriktat på advokatbyråer, sätter siffror på ett problem som många användare redan känner igen: vissa populära AI-chatbots hallucinerar mycket oftare än andra. Med ungefär en fjärdedel av amerikanska arbetstagare som nu regelbundet använder AI-verktyg är skillnaden mellan en hjälpsam assistent och en övertygande källa till felinformation ingen liten detalj.
Den obekväma delen: förtroende är inte samma som korrekthet
Stora språkmodeller tänker inte som människor. De tränas för att förutsäga sannolika ord och fraser baserat på mönster i enorma textmängder. När systemet har tillräckligt med kontext kan det ge snabba, användbara svar. När det inte har det kan modellen ändå skapa ett svar som låter troligt eftersom orden statistiskt passar ihop.
Det är vad folk oftast menar när de säger att en AI-chatbot hallucinerar. Den dagdrömmer inte. Den ljuger inte i mänsklig mening. Den genererar ett svar utan en tillförlitlig faktabas, vilket är anledningen till att namn, datum, juridiska referenser, medicinska detaljer, ekonomiska siffror och dagsfärska nyheter fortfarande behöver mänsklig verifiering.
Studien jämförde flera välkända AI-modeller genom att titta på hallucinationsfrekvens, kundnöjdhet, svarskvalitet och upptid. Dessa faktorer kombinerades till ett indexresultat från 0 till 100, vilket ger en bredare bild av vilka chatbots som är mest pålitliga i vardagsanvändning.
Google Gemini visade sig ha den högsta hallucinationsfrekvensen i gruppen och lämnade enligt rapporter felaktig information i 32% av svaren. Den siffran är särskilt intressant med tanke på rapporter om att Apple betalar Google minst 1 miljard dollar per år för att använda en anpassad Gemini-modell med 1,2 biljoner parametrar i en framtida Siri-uppgradering som förväntas i iOS 27.
ChatGPT följde tätt efter, med hallucinationer i ungefär tre av tio svar. Enkelt uttryckt, om dessa siffror håller, skulle ChatGPT vara ungefär dubbelt så sannolikt som DeepSeek att ge ett felaktigt svar i detta test. Den jämförelsen lär väcka uppmärksamhet, inte minst eftersom DeepSeek utvecklades till en bråkdel av träningskostnaden för ledande amerikanska modeller.
Perplexity AI presterade bäst vad gäller hallucinationsfrekvens, med felaktiga svar som nådde användare 13% av tiden. DeepSeek låg nära efter på 14%, medan Elon Musks Grok hamnade på 15%. För användare som förlitar sig på AI för research, sammanfattningar eller snabba faktakontroller spelar sådana skillnader roll.
Att vara online räknas fortfarande
Korrekthet är bara en del av bilden. En chatbot kan vara briljant på papper men värdelös om den inte är tillgänglig när någon behöver den. När det gäller upptid var Perplexity AI och Grok de enda två tjänsterna i undersökningen som höll sig tillgängliga under hela testperioden.
ChatGPT och Gemini kom inte långt efter, med upptidsnivåer på 99,98% respektive 99,95%. Även Claude, som hade den lägsta upptiden i studien, var fortfarande mycket pålitlig på 99,68%. I praktiska termer var de flesta av dessa verktyg online nästan hela tiden, men de små skillnaderna kan ändå vara viktiga för företag som är beroende av AI-baserade arbetsflöden.
Användarnöjdheten berättade en annan historia. DeepSeek och ChatGPT fick båda högst kundnöjdhet med 4,7 av 5. Perplexity AI följde med 4,6. Meta AI hamnade längst ner med 3,4, medan flera andra modeller samlades runt 4,4.
Vad gäller konsekvens och svarskvalitet ledde Kimi AI gruppen med 4,3 av 5. ChatGPT, Microsoft Copilot och Gemini delade andraplatsen med 4,0. Meta AI låg återigen sist på 3,4, vilket tyder på att dess svagare totalpoäng inte orsakades av en enskild bristfällig kategori.
När alla faktorer kombinerades tog Perplexity AI förstaplatsen med ett indexresultat på 85. Grok placerade sig tvåa med 79, följt av DeepSeek. ChatGPT slutade sexa med ett resultat på 50, medan Gemini rankades åtta med 41. Meta AI hamnade längst ned med 37.
Den större lärdomen är inte att en chatbot ska betros blint och en annan undvikas för alltid. AI-verktyg förändras snabbt. Modeller uppdateras, säkerhetsramar justeras och prestanda kan förbättras nästan över en natt. Ändå är denna typ av ranking en användbar påminnelse: den mest kända chatboten är inte alltid den mest pålitliga, och det smidigaste svaret är inte alltid det korrekta.
För den som använder AI i arbetet är det säkraste tillvägagångssättet enkelt. Behandla chatbots som acceleratorer, inte slutgiltiga auktoriteter. Låt dem utarbeta, organisera, sammanfatta och komma med idéer. Men när svaret rör pengar, hälsa, juridik, identitet eller ett beslut med verkliga konsekvenser, kontrollera fakta innan du agerar.
Lämna en kommentar