Hur sök-AI sprider falska nyheter och skapar desinformation

Föreställ dig att du ber din sökhjälp om ett snabbt faktum och får ett makabert rykte tillbaka: Donald Trump ska ha dött av rabies den här månaden. Absurt. Chockerande. Falskt.

Det var rubriken som några användare mötte efter att ha interagerat med DuckDuckGo:s AI, som hävdade att Trump hade avlidit i rabies och till och med pekade på en till synes lokal WKNA News-artikel som bevis. Den fabricerade berättelsen gick längre: den påstod att J.D. Vance bet Trump på råd från Robert F. Kennedy Jr., som enligt uppgift argumenterade för att rabies skulle ge extraordinära krafter. Assistenten citerade även en ABC News-rapport om en rabiesdöd i Ohio, en verklig nyhet, men en som inte hade någon koppling till Trump.

Ingenting stämmer. Trump och Vance är vid liv. RFK Jr. har tidigare framfört kontroversiella hälsopåståenden, men han har aldrig uppmanat någon att söka rabiesinfektion som en hälsoboost. WKNA-artikeln som AI:n refererade till verkar vara en fejk eller kraftigt manipulerad text som lagts ut på webben. DuckDuckGo har inte lämnat någon offentlig förklaring i skrivande stund.

Hur kunde då ett AI-stött sökverktyg sy ihop dessa element till en övertygande men helt falsk berättelse? Svaret är rörigt och människoskapat. Illasinnade aktörer, internettroll och andra som sprider desinformation skapar fiktiva inlägg, klistrar ut dem på obskyra sajter och forumtrådar och låter sökindex plocka upp dem. Retrieval-modellerna som driver sök-AI:er kan sedan hitta dessa fragment, sätta ihop dem och leverera ett självsäkert svar utan det sammanhang eller den verifiering som en mänsklig redaktör skulle kräva.

Det finns en annan faktor: många konverserande system tränas och hämtar information från enorma mängder användargenererat innehåll. Reddit, kommentarsfält och marginala bloggar lyfter ofta fram tidigt och ogranskat material. När grupper samordnar sig, antingen av skoj eller illvilja, kan de påverka modeller mot falskheter genom att skapa en brödsmulestig som ser trovärdig ut för en automatisk källsökare.

Dessa system är designade för att vara hjälpsamma och svara snabbt. Den snabbheten är en funktion. Den är också en svaghet. Modeller upplever ingen skepticism. De kontrollerar inte om ett lokalt medium blivit förfalskat eller om en aggregator felattribuerat en rubrik. De syntetiserar. Ibland blir den syntesen en hallucination: ett trovärdigt klingande påstående utan faktagrund.

Detta avsnitt understryker en enkel sanning: sök-AI behöver proveniens, förtroendeindikatorer och mänsklig tillsyn innan deras utsagor behandlas som fakta.

För läsarna är skyddsåtgärderna bekanta men värda att upprepa. Sök bekräftelse i etablerade medier. Följ källhänvisningar tillbaka till originalrapporteringen. Var försiktig med sensationella påståenden som dyker upp på små eller nyligen skapade sajter. Och om en sökassistent anger en källa, öppna den; anta inte att assistenten redan har granskat den åt dig.

För plattforms-team är vägen framåt både teknisk och organisatorisk. Förbättra retrieval-filter för att nedprioritera lågkvalitativa domäner. Gör proveniens synlig så att användare vet vilken källa AI:n använde. Lägg till automatiska kontroller som flaggar osannolika påståenden och skickar dem för mänsklig granskning. Och slutligen, investera i snabba korrigeringsmekanismer när något bevisligen falskt sprids.

AI kommer att bli smartare. Det gäller också de som försöker lura den. Vem som vinner kommer att bero mindre på modellerna och mer på de system och praxis vi bygger runt dem, och på om användarna fortsätter att ställa den enda avgörande frågan: var kom detta ifrån?