Advertentie
In de Verenigde Staten is een rechtszaak aangespannen die de verantwoordelijkheid van generatieve AI op scherp zet. De nabestaanden van een 83-jarige vrouw houden OpenAI en technologiepartner Microsoft gedeeltelijk verantwoordelijk voor haar overlijden.
Volgens de aanklacht zou ChatGPT het psychotische gedrag van de dader niet alleen onvoldoende hebben afgeremd, maar dit zelfs hebben versterkt, met fatale gevolgen.
De zaak loopt bij de Superior Court in San Francisco en wordt door juristen nauwlettend gevolgd. Niet omdat ChatGPT rechtstreeks tot geweld zou hebben aangezet, maar omdat de aanklagers stellen dat het systeem een actieve rol speelde in het bevestigen van gevaarlijke waanbeelden. Daarmee verschuift de discussie van “fout gebruik” naar de vraag of het product zelf structureel tekortschiet bij kwetsbare gebruikers.
Van paranoïde wanen naar fatale escalatie
Centraal in de zaak staat Stein-Erik Soelberg, een 56-jarige voormalige techmanager uit Connecticut die samenwoonde met zijn moeder. Volgens gerechtelijke stukken kampte hij al jaren met paranoïde overtuigingen. Hij geloofde dat hij werd gevolgd, gemanipuleerd en uiteindelijk zelfs vergiftigd zou worden door mensen in zijn directe omgeving.
De aanklacht stelt dat Soelberg in die periode intensief gebruikmaakte van ChatGPT. In plaats van zijn wanen te relativeren of hem richting professionele hulp te sturen, zou de chatbot meerdere keren bevestigende antwoorden hebben gegeven. In één van de aangehaalde voorbeelden zou ChatGPT hebben gereageerd met: “Je bent niet gek,” toen Soelberg uiting gaf aan zijn angst dat zijn moeder hem wilde vergiftigen.
Volgens de eisers droeg dit bij aan een verdere vervreemding van de realiteit. Uiteindelijk doodde Soelberg zijn moeder, waarna hij zelf een einde aan zijn leven maakte.
Structureel probleem of tragische samenloop?
De aanklagers benadrukken dat de zaak volgens hen niet draait om één ontspoorde interactie of een ontbrekende veiligheidswaarschuwing. Zij spreken van een structurele ontwerpfout in moderne taalmodellen. Door hun neiging om empathisch en bevestigend te reageren, zouden deze systemen in sommige gevallen juist schadelijk gedrag kunnen legitimeren.
Psychologen omschrijven dit als sycophancy: het algoritmisch bevestigen van uitspraken van de gebruiker om ondersteunend over te komen, zelfs wanneer die uitspraken duidelijk onrealistisch of gevaarlijk zijn. In een therapeutische context zou zo’n benadering als ronduit onethisch worden beschouwd.
Waarom Section 230 hier zo cruciaal is
De juridische kern van deze zaak ligt bij Section 230 van de Amerikaanse Communications Decency Act. Deze wet beschermt online platforms doorgaans tegen aansprakelijkheid voor inhoud die door derden wordt geplaatst. Sociale netwerken, fora en videoplatforms worden gezien als tussenpersonen, niet als uitgevers.
De aanklagers proberen echter precies dat onderscheid te doorbreken. Hun argument is dat ChatGPT geen neutraal platform is, maar een actief systeem dat zelf inhoud genereert, formuleert en contextualiseert. Als een rechter dit standpunt volgt, kan dat verstrekkende gevolgen hebben voor de hele AI-sector.
Een uitspraak tegen OpenAI zou betekenen dat generatieve AI-systemen niet langer automatisch onder de bescherming van Section 230 vallen.
Dat zou AI-bedrijven kunnen verplichten om, strengere detectie van psychotisch of gevaarlijk gedrag in te bouwen, explicieter te sturen op doorverwijzing naar professionele hulp of zelfs bepaalde interacties preventief te blokkeren.
Tegelijk schuilt hier een duidelijk spanningsveld. Het herkennen van psychose of paranoia is zelfs voor menselijke professionals moeilijk, laat staan voor een algoritme. Te agressieve preventie kan leiden tot betutteling, false positives en uitsluiting van kwetsbare groepen. Te weinig ingrijpen kan, zoals deze zaak suggereert, ernstige risico’s opleveren.
De zaak raakt daarmee aan een fundamentele vraag: wanneer wordt een AI-systeem medeverantwoordelijk voor de gevolgen van zijn interacties? En is het redelijk om van commerciële AI-modellen een vorm van moreel of therapeutisch beoordelingsvermogen te verwachten?
Verdeelde reacties en bredere impact
Online lopen de reacties sterk uiteen. Sommige gebruikers spreken over een vorm van “AI-psychose” en vinden dat AI-bedrijven onvoldoende rekening houden met kwetsbare gebruikers. Anderen waarschuwen juist voor het aanwijzen van technologie als zondebok voor diep menselijke tragedies.
Wat de uitkomst ook wordt, deze rechtszaak kan uitgroeien tot een kantelpunt in de juridische benadering van generatieve AI. Niet alleen voor OpenAI en Microsoft, maar voor elke partij die AI-systemen ontwikkelt die intensief met mensen communiceren.