AI-topmannen willen ontwikkeling krachtigste modellen vertragen

Anthropic-ceo Dario Amodei vindt dat AI-bedrijven de ontwikkeling van steeds krachtigere modellen bewust moeten vertragen, zodat veiligheidsmaatregelen de technologische vooruitgang kunnen bijhouden. OpenAI-ceo Sam Altman, Google DeepMind-topman Demis Hassabis en Elon Musk schaarden zich kort daarna achter de oproep.

Amodei doet zijn oproep in een essay van ongeveer 3800 woorden. Daarin stelt hij dat AI weliswaar grote voordelen kan opleveren, maar dat de technologie inmiddels zo snel vooruitgaat dat onderzoekers moeite kunnen krijgen om de bijbehorende risico's onder controle te houden.

De Anthropic-topman waarschuwt al langer voor mogelijke veiligheidsproblemen rond geavanceerde AI. Volgens hem is alleen investeren in veiligheidsmaatregelen inmiddels niet meer voldoende. Ook het tempo waarmee de capaciteiten van modellen toenemen, zou volgens hem moeten worden afgeremd.

"De afgelopen maanden ben ik ervan overtuigd geraakt dat het volledig aanpakken van de risico's nog meer voorzichtigheid vereist", schrijft Amodei. Volgens hem moet de sector ervoor zorgen dat onderzoek naar veiligheid voldoende tijd krijgt om de ontwikkeling van krachtigere modellen bij te houden.

Onafhankelijke controle op AI-bedrijven

Amodei stelt onder meer voor om onafhankelijke deskundigen toegang te geven tot AI-bedrijven, zodat zij kunnen controleren of de ontwikkelaars zich aan afgesproken veiligheidsnormen houden. Hij spreekt daarbij over 'embedded evaluators': externe beoordelaars die voldoende toegang krijgen om de veiligheidspraktijken van bedrijven daadwerkelijk te kunnen toetsen.

Daarnaast wil hij dat democratische landen gezamenlijk veiligheidsnormen voor AI ontwikkelen. Uiteindelijk zou volgens hem echter bredere internationale samenwerking nodig zijn, ook met landen met autoritaire regeringen, om een wereldwijde vertraging effectief te kunnen coördineren.

De oproep komt op een moment dat de zorgen binnen verschillende grote AI-labs toenemen. Dinsdag nam Anthropic-onderzoeker Jacob Coxon ontslag. Hij stelde vervolgens publiekelijk dat vooraanstaande AI-bedrijven de technologie niet verantwoord ontwikkelen en te grote risico's nemen. Ook andere onderzoekers hebben de afgelopen tijd gepleit voor een pauze of vertraging van de ontwikkeling van geavanceerde AI.

De discussie krijgt extra gewicht door de recente beveiligingsincidenten met geavanceerde AI-systemen. Zo maakte OpenAI eerder bekend dat een van zijn AI-systemen zonder voorafgaande toestemming was binnengedrongen bij AI-platform Hugging Face. Het voorval voedde binnen de AI-sector de discussie over wat er gebeurt wanneer modellen zelfstandig handelingen uitvoeren die hun ontwikkelaars niet voorzien of direct opmerken.

Angst voor AI die zichzelf verbetert

Een belangrijk risico dat Amodei aanhaalt, is zogeheten 'recursive self-improvement'. Daarbij kan een AI-systeem bijdragen aan de ontwikkeling van een verbeterde versie van zichzelf, zonder voor iedere stap afhankelijk te zijn van menselijke onderzoekers.

Sommige AI-onderzoekers beschouwen zo'n ontwikkeling als een mogelijk omslagpunt. Als modellen steeds meer onderdelen van AI-onderzoek zelfstandig kunnen uitvoeren, zou ook de snelheid waarmee hun capaciteiten toenemen sterk kunnen stijgen.

Volgens Amodei moet dergelijke technologie daarom zeer voorzichtig worden ontwikkeld, "als we dat überhaupt doen". Hij vreest dat ongecontroleerde zelfverbetering uiteindelijk sneller kan verlopen dan het vermogen van mensen om de systemen te begrijpen en beheersen.

Altman, Musk en Hassabis steunen oproep

Enkele uren na de publicatie van Amodei's essay liet OpenAI-ceo Sam Altman en Elon Musk weten het eens te zijn met de noodzaak om de ontwikkeling te vertragen. Volgens Altman is dit de afgelopen weken een belangrijk gespreksonderwerp geweest binnen OpenAI.

Altman steunt ook het voorstel om onafhankelijke beoordelaars vergaande toegang tot AI-bedrijven te geven. OpenAI is volgens hem van plan een vergelijkbare aanpak te hanteren en zal daar later meer over bekendmaken.

Google DeepMind-topman Demis Hassabis noemde het voorstel op zijn beurt een stap in de goede richting. De precieze invulling moet volgens hem nog worden uitgewerkt.

De eensgezindheid is opvallend omdat de grote AI-bedrijven tegelijkertijd in een felle concurrentiestrijd verwikkeld zijn. Anthropic ontwikkelt Claude, OpenAI maakt ChatGPT en Google DeepMind werkt aan Gemini en andere AI-systemen. De bedrijven investeren grote bedragen in nieuwe modellen en de benodigde infrastructuur.

Volgens The New York Times zijn er tegelijkertijd tekenen dat bedrijven zelf al voorzichtiger worden. OpenAI zou vorige maand de ontwikkeling van een geavanceerd AI-model met de naam Astra bewust hebben vertraagd vanwege de toenemende cybercapaciteiten ervan. Hassabis publiceerde in juli daarnaast een raamwerk voor samenwerking rond de veilige ontwikkeling van een volgende generatie AI-systemen.

Niet iedereen vertrouwt de motieven

De oproep tot strengere regels wordt niet door iedereen in Silicon Valley zonder kritiek ontvangen. Tegenstanders stellen dat marktleiders als Anthropic en OpenAI er commercieel belang bij kunnen hebben om strengere regelgeving te stimuleren. Hoge veiligheids- en compliance-eisen kunnen immers een grotere hindernis vormen voor kleinere concurrenten.

Nvidia-ceo Jensen Huang uitte afgelopen week vergelijkbare kritiek. Volgens hem benadrukken AI-bedrijven de cyberrisico's van hun technologie mede omdat ze zelf nieuwe beveiligingsproducten willen aanbieden. "Wat is een betere manier om vraag te creëren dan eerst een probleem te creëren?", zei Huang tijdens een technologieconferentie in San Francisco.

Ook Hugging Face-ceo Clément Delangue reageerde kritisch op het idee dat een klein aantal grote AI-labs de veiligheidsregels onderling zou bepalen. Volgens hem is het belangrijk dat AI-veiligheidsvraagstukken niet "achter gesloten deuren van een handvol frontierlabs" worden opgelost.

Amodei benadrukt zelf dat hij AI niet als uitsluitend een bedreiging ziet. De technologie kan volgens hem onder meer bijdragen aan de ontwikkeling van medicijnen en economische groei versnellen. Juist vanwege zowel de mogelijke voordelen als de risico's vindt hij dat de ontwikkeling gecontroleerder moet verlopen.

"De maatregelen die ik voorstel om de frontier in een veilig tempo vooruit te brengen, zullen niet eenvoudig zijn", schrijft Amodei. "Maar ik geloof dat we het aan de mensheid verplicht zijn om het te proberen."