Advertentie
KPMG heeft een rapport over de inzet van agentic AI offline gehaald nadat onderzoekers tientallen onjuiste bronvermeldingen en verzonnen praktijkvoorbeelden ontdekten. De kwestie is extra pijnlijk omdat het rapport juist bedoeld was om succesvolle toepassingen van AI bij grote organisaties te belichten.
Slechts vijf van de 45 bronnen bleken te kloppen
De fouten werden ontdekt door AI-detectiebedrijf GPTZero. Volgens het onderzoek verwezen slechts vijf van de 45 aangehaalde bronnen daadwerkelijk naar de informatie die KPMG eraan toeschreef. De overige referenties waren verzonnen, verwezen naar andere documenten of gaven een onjuiste samenvatting van de oorspronkelijke bron.
GPTZero spreekt van vibe citing: AI genereert geloofwaardige bronvermeldingen die bij controle niet blijken te bestaan of niet overeenkomen met de aangehaalde informatie.
Organisaties herkennen de voorbeelden niet
Niet alleen de bronvermeldingen bleken problematisch. Ook verschillende praktijkvoorbeelden in het rapport worden betwist door de organisaties die erin worden genoemd.
Zo schreef KPMG dat UBS AI-agents inzet voor vermogensbeheer, risicobeheer en compliance, terwijl ook Transport for London, Swiss Federal Railways (SBB) en NHS Greater Manchester als voorbeelden van geavanceerde AI-toepassingen werden aangehaald. De betrokken organisaties laten echter weten dat deze beschrijvingen onjuist zijn of de werkelijkheid sterk overdrijven.
Rapport offline, intern onderzoek gestart
Na de kritiek heeft KPMG het rapport 'Total Experience: Redefining Excellence in the Age of Agentic AI' van zijn websites verwijderd. Het accountants- en advieskantoor is een intern onderzoek gestart naar de totstandkoming van het document.
Volgens KPMG schrijven de interne richtlijnen voor dat AI-gegenereerde inhoud altijd door medewerkers moet worden gecontroleerd en geverifieerd voordat deze wordt gepubliceerd. Het bedrijf onderzoekt nu waarom die controle in dit geval tekort is geschoten.
AI-hallucinaties blijven een risico
Het incident staat niet op zichzelf. Eerder dit jaar moest ook EY een AI-gerelateerd rapport intrekken nadat GPTZero verzonnen voetnoten en feitelijke onjuistheden had aangetroffen.
Daarnaast moest ook Deloitte op het matje voor AI-hallucinaties in hun rapporten Ook in de juridische wereld zijn inmiddels meerdere zaken bekend waarbij advocaten AI-gegenereerde jurisprudentie indienden die achteraf niet bleek te bestaan.
Volgens GPTZero is dat een groeiend probleem. Rapporten van gerenommeerde organisaties worden regelmatig geciteerd door media, onderzoekers en AI-systemen. Wanneer dergelijke documenten fouten bevatten, kunnen die zich snel verder verspreiden.
Ook adviesbureaus zijn niet immuun
De kwestie is extra pijnlijk omdat KPMG zelf organisaties adviseert over de verantwoorde inzet van AI. Juist van een partij die bedrijven begeleidt bij AI-implementaties mag worden verwacht dat publicaties zorgvuldig worden gecontroleerd.
Het incident onderstreept opnieuw dat generatieve AI veel werk kan versnellen, maar nog altijd menselijke controle vereist. Zonder die controle kunnen foutieve bronvermeldingen, verzonnen feiten en niet-bestaande praktijkvoorbeelden ongemerkt in officiële rapporten terechtkomen.