Advertentie
Een onderzoeksgroep met onder meer Huawei stelt dat het de volledige post-training van DeepSeek V4-Pro heeft uitgevoerd op een cluster van minstens 1.000 Ascend 910C-ai-chips. Als de claim klopt, zou dat een belangrijke stap zijn voor China's streven om minder afhankelijk te worden van Nvidia-hardware voor de ontwikkeling van geavanceerde AI-modellen.
Volgens de gemeentelijke overheid van Shenzhen werd voor de training gebruikgemaakt van een cluster met 1.000 Ascend 910C-versnellers. Het project werd uitgevoerd door Huawei, het Shenzhen Loop Area Institute, de Shenzhen-campus van het Harbin Institute of Technology en het Shenzhen Research Institute of Big Data.
Belangrijke stap voor Chinese AI-hardware
De Ascend 910C is momenteel Huawei's krachtigste AI-chip. Het gaat om een ontwerp met twee chiplets dat in eerdere DeepSeek-tests ongeveer 60 procent van de inferentieprestaties van een Nvidia H100 zou hebben gehaald.
Chinese AI-chips zijn de afgelopen jaren steeds competitiever geworden voor inferentie, het uitvoeren van reeds getrainde modellen. Training blijft echter een veel grotere uitdaging. Daarbij moeten miljarden of zelfs biljoenen parameters voortdurend worden aangepast op basis van enorme datasets.
Volgens de onderzoekers ging het om volledige post-training, waarbij alle modelgewichten werden bijgewerkt. Dat verschilt van lichtere optimalisatietechnieken waarbij alleen extra lagen boven op een bestaand model worden getraind.
DeepSeek V4-Pro telt 1,6 biljoen parameters
DeepSeek V4-Pro behoort tot de grootste AI-modellen die momenteel in China zijn ontwikkeld en telt volgens de onderzoekers 1,6 biljoen parameters.
Post-training volgt op de veel omvangrijkere pre-trainingsfase. Tijdens pre-training leert een model algemene taal- en redeneervaardigheden aan de hand van enorme hoeveelheden data. Volgens de documentatie van DeepSeek werd V4-Pro vooraf getraind op meer dan 32 biljoen tokens.
De post-trainingsfase wordt vervolgens gebruikt om het model beter instructies te laten opvolgen, veiligheidsmechanismen toe te voegen en prestaties voor specifieke taken te verbeteren.
Eerdere problemen met Ascend-training
De claim is opvallend omdat DeepSeek eerder juist problemen zou hebben ondervonden met Huawei's hardware.
Eerdere berichtgeving van The Information stelde dat DeepSeek tijdens de ontwikkeling van zijn R2-modellen tegen technische beperkingen van Huawei's Ascend-platform aanliep. Het bedrijf bleef voor zijn grootste AI-modellen Nvidia-hardware gebruiken, terwijl Ascend vooral werd ingezet voor kleinere modellen en inferentietaken.
Destijds bleef DeepSeek Nvidia-gpu's gebruiken voor training, terwijl Ascend-chips vooral werden ingezet voor inferentie. DeepSeek V4-Pro, dat in april werd uitgebracht, geldt als het eerste DeepSeek-model dat vanaf het begin rond Ascend-hardware werd ontwikkeld.
Weinig technische details bekend
De aankondiging roept tegelijkertijd vragen op. Er zijn geen benchmarks gepubliceerd en ook gegevens over trainingsduur, energieverbruik of efficiëntie ontbreken.
Evenmin is bekend hoe de prestaties zich verhouden tot vergelijkbare trainingsruns op Nvidia-hardware. Ook is onduidelijk hoe effectief het cluster van 1.000 chips daadwerkelijk werd benut. Daardoor is het lastig om de betekenis van de claim onafhankelijk te beoordelen. DeepSeek zelf heeft vooralsnog geen publieke reactie gegeven op de berichtgeving.
Toch onderstreept de aankondiging dat Chinese bedrijven steeds meer vooruitgang boeken bij het ontwikkelen van een eigen AI-ecosysteem. Door Amerikaanse exportbeperkingen wordt het voor Chinese ondernemingen immers steeds moeilijker om toegang te krijgen tot de nieuwste AI-versnellers van Nvidia.