Advertentie
Anthropic zegt een belangrijke stap te hebben gezet in het begrijpen van de interne werking van grote taalmodellen. In een nieuw onderzoeksrapport beschrijft het bedrijf hoe onderzoekers de activatiepatronen van Claude hebben geanalyseerd om beter te begrijpen hoe het model informatie verwerkt en beslissingen neemt.
Volgens Anthropic biedt het onderzoek een eerste blik op de mechanismen waarmee grote taalmodellen redeneren. Het bedrijf benadrukt daarbij dat het niet gaat om het letterlijk "lezen van gedachten", maar om het in kaart brengen van de interne representaties en informatieverwerking binnen het model.
Onderzoek naar de 'black box' van AI
Grote taalmodellen zoals Claude, ChatGPT en Gemini worden vaak omschreven als een black box. Hoewel ontwikkelaars weten hoe de modellen worden getraind, is het vaak moeilijk te achterhalen waarom een model tot een bepaald antwoord komt.
Anthropic werkt daarom al geruime tijd aan zogenoemde mechanistic interpretability: een onderzoeksgebied dat probeert de interne werking van neurale netwerken inzichtelijk te maken.
In plaats van alleen de invoer en uitvoer van een model te bestuderen, analyseren onderzoekers welke neuronen en activatiepatronen actief worden tijdens verschillende stappen van het redeneerproces.
Aanwijzingen voor een 'global workspace'
Een van de opvallendste bevindingen uit het onderzoek is dat Claude informatie lijkt samen te brengen in een centrale representatie die door verschillende onderdelen van het model wordt gebruikt.
Anthropic vergelijkt dat met het concept van een global workspace, een theorie uit de cognitieve wetenschap waarin verschillende gespecialiseerde processen informatie delen via een gemeenschappelijk werkgeheugen.
Volgens de onderzoekers betekent dit niet dat Claude bewustzijn bezit of op dezelfde manier denkt als mensen. Het suggereert wel dat grote taalmodellen informatie centraliseren voordat zij een antwoord genereren.
Interne concepten zichtbaar gemaakt
Met behulp van speciale analysetechnieken konden onderzoekers volgen hoe Claude abstracte concepten intern representeert. Daarbij bleek dat bepaalde activatiepatronen terugkeren wanneer het model vergelijkbare onderwerpen verwerkt.
Zo konden onderzoekers onder meer zien hoe het model talen onderscheidt, logische verbanden legt en verschillende betekenissen van woorden uit elkaar houdt.
Volgens Anthropic maakt dat het mogelijk om beter te begrijpen waarom een model soms correcte antwoorden geeft, maar ook waarom het fouten maakt of hallucineert.
Veiliger AI door betere interpretatie
Anthropic ziet de techniek niet alleen als wetenschappelijke doorbraak, maar ook als een hulpmiddel om AI veiliger te maken.
Wanneer onderzoekers beter begrijpen welke interne mechanismen verantwoordelijk zijn voor ongewenst gedrag, kunnen modellen mogelijk gerichter worden aangepast zonder dat daarvoor complete hertraining nodig is.
Dat zou in de toekomst kunnen helpen bij het verminderen van hallucinaties, vooroordelen en andere ongewenste uitkomsten van generatieve AI.
Onderzoek staat nog aan het begin
Anthropic benadrukt dat de gebruikte technieken voorlopig slechts een klein deel van de interne werking van grote taalmodellen blootleggen. Moderne AI-systemen bestaan uit miljarden parameters en uiterst complexe interacties die nog grotendeels onbegrepen zijn.
Toch ziet het bedrijf de resultaten als een belangrijke stap richting beter verklaarbare AI-systemen. Meer inzicht in de besluitvorming van taalmodellen kan niet alleen bijdragen aan betrouwbaardere AI, maar ook aan nieuwe wetenschappelijke inzichten in hoe neurale netwerken informatie verwerken.
De onderzoekers hebben hun bevindingen gepubliceerd in een wetenschappelijk paper, zodat andere onderzoekers de gebruikte methoden verder kunnen onderzoeken en uitbreiden.