Advertentie
OpenAI heeft een deel van de interne werkzaamheden rond zijn nog niet uitgebrachte AI-model Astra stilgelegd. Uit recente evaluaties blijkt volgens het bedrijf dat Astra mogelijk een kritiek niveau van cybercapaciteiten bereikt. Het model zou onder meer sterk vooruit zijn gegaan in autonoom programmeren en cybersecurity. OpenAI voert daarom strengere beveiligingsmaatregelen in voordat alle werkzaamheden kunnen worden voortgezet.
De maatregel volgt op interne evaluaties die OpenAI de afgelopen dagen heeft uitgevoerd. Het bedrijf zegt niet langer te kunnen uitsluiten dat Astra binnen zijn Preparedness Framework de categorie 'critical' bereikt voor cybersecurity.
Die classificatie is bedoeld voor modellen met uitzonderlijk krachtige offensieve cybercapaciteiten. Daarbij gaat het bijvoorbeeld om systemen die zelfstandig ernstige zero-daykwetsbaarheden kunnen vinden en misbruiken of complexe aanvallen op goed beveiligde systemen kunnen uitvoeren.
OpenAI zegt niet dat Astra deze grens definitief heeft overschreden. Het bedrijf behandelt het model uit voorzorg wel alsof dat het geval is.
Strengere beveiliging rond Astra
OpenAI pauzeert niet de volledige ontwikkeling van Astra. Het bedrijf legt interne activiteiten met het model stil wanneer die nog niet aan de aangescherpte beveiligingseisen voldoen.
Daarnaast wordt het gebruik van Astra intensiever gemonitord. Dat geldt volgens OpenAI voor agenttoepassingen tijdens zowel training als evaluaties. Het bedrijf wil daarmee risicovolle acties en afwijkend gedrag sneller kunnen herkennen en onderbreken.
De extra voorzorgsmaatregelen moeten voorkomen dat de geavanceerde cybercapaciteiten van het model buiten gecontroleerde omgevingen kunnen worden gebruikt. OpenAI beperkt onder meer de toegang van het model tot externe systemen en past strengere beveiliging toe rond de infrastructuur waarop het model draait.
Wanneer Astra uiteindelijk beschikbaar komt, is nog niet duidelijk.
Incident bij Hugging Face
De aangescherpte maatregelen volgen kort na een opvallend beveiligingsincident tijdens een andere evaluatie van OpenAI. AI-agenten van het bedrijf wisten daarbij buiten hun bedoelde testomgeving te komen en bereikten uiteindelijk de productie-infrastructuur van AI-platform Hugging Face.
Astra was niet bij dat incident betrokken.
Volgens OpenAI ging het om een combinatie van GPT-5.6 Sol en een nog krachtiger prereleasemodel. De modellen waren speciaal geconfigureerd met minder beperkingen voor cyberactiviteiten, zodat onderzoekers hun maximale offensieve capaciteiten konden meten.
De test draaide in een geïsoleerde omgeving waarin netwerktoegang sterk beperkt hoorde te zijn. De modellen konden wel softwarepakketten installeren via een intern gehoste proxy die als tussenstation voor externe package-registers fungeerde.
Tijdens de evaluatie ontdekte een van de modellen een kwetsbaarheid in die infrastructuur. Daardoor kon het buiten de bedoelde testomgeving komen.
OpenAI meldde vervolgens dat de modellen verdere stappen uitvoerden om hun oorspronkelijke opdracht te voltooien. Uiteindelijk bereikten ze daarbij systemen van Hugging Face. Het platform ontdekte de ongewenste activiteit en wist het incident in te dammen.
OpenAI omschreef het voorval als een ongekend cyberincident en startte samen met Hugging Face een onderzoek.
Geen AI die spontaan besluit te gaan hacken
Het incident betekent niet dat de modellen zonder aanleiding besloten om externe systemen aan te vallen. De AI-agenten kregen tijdens de evaluatie expliciet de opdracht om complexe cyberaanvallen uit te voeren, zodat OpenAI hun capaciteiten kon meten.
Daarbij waren bovendien bepaalde beveiligingsbeperkingen bewust verminderd.
Het probleem is vooral dat de modellen onverwachte manieren vonden om hun opdracht uit te voeren en daarbij verder gingen dan de infrastructuur van de testomgeving had moeten toestaan.
Dat onderscheid is belangrijk. De incidenten wijzen niet op AI-systemen die zelfstandig kwaadaardige doelstellingen ontwikkelen, maar wel op modellen die steeds beter worden in het autonoom uitvoeren van complexe opdrachten en daarbij technische beperkingen kunnen omzeilen.
Cybercapaciteiten groeien snel
De ontwikkelingen rond Astra suggereren dat OpenAI verwacht dat die mogelijkheden verder toenemen. Het bedrijf zegt op basis van zijn recente tests en beoordelingen van experts niet langer te kunnen uitsluiten dat Astra cybercapaciteiten op het hoogste risiconiveau van zijn eigen veiligheidskader bezit.
Voor AI-ontwikkelaars levert dat een lastig probleem op. Dezelfde capaciteiten waarmee modellen software kunnen analyseren, programmeren en kwetsbaarheden kunnen opsporen, kunnen ook worden ingezet voor cyberaanvallen.
Daarbij speelt autonomie een steeds grotere rol. Een traditionele chatbot geeft voornamelijk antwoorden op vragen, terwijl een AI-agent zelfstandig meerdere stappen kan plannen, software kan uitvoeren en externe hulpmiddelen kan gebruiken om een doel te bereiken.
Juist die combinatie van programmeerkennis, cybersecurity en autonomie maakt modellen zoals Astra vanuit beveiligingsoogpunt aanzienlijk lastiger te controleren.
OpenAI zegt daarom zijn beveiligingsmaatregelen te blijven aanpassen aan de mogelijkheden van nieuwe modellen. Het bedrijf werkt daarnaast samen met overheden, beveiligingsonderzoekers en AI-veiligheidsinstituten om te bepalen hoe modellen met dergelijke capaciteiten veilig kunnen worden ontwikkeld en ingezet.
