Advertentie
Zowel AMD als Nvidia hebben nieuwe overeenkomsten aangekondigd op het gebied van AI-infrastructuur. Enerzijds gaat Oracle zijn datacenters uitbreiden met meer AI-accelerators en processors van Nvidia, terwijl Meta aanklopt bij AMD voor zowel Epyc-processors, Instinct-acclerators en Helios-rackscale-systemen.
Rubin voor Oracle
Nvidia en Oracle hebben hun samenwerking bij de uitbreiding van de AI-infrastructuur verder verdiept. Centraal staat de beschikbaarheid van het nieuwe Vera-Rubin-platform binnen de Oracle Cloud Infrastructure (OCI). De Vera-Rubin-NVL72-systemen zijn daar inmiddels algemeen beschikbaar en zullen in de toekomst worden ingezet in superclusters met een elektrisch vermogen in de orde van grootte van meerdere gigawatts.
Daarnaast is Oracle van plan het HGX-Rubin-NVL8-platform te introduceren. Dit platform maakt gebruik van acht via NVLink verbonden Rubin-gpu's en combineert deze met twee Intel Xeon 6-processoren met elk 64 cores. Daarnaast beschikt het over 4 TB ddr5-werkgeheugen en een RDMA-netwerkverbinding met een bandbreedte van 6,4 Tbps. In tegenstelling tot de rack-scale-oplossing NVL72 gaat het hier om een compactere, op x86 gebaseerde serverconfiguratie, die met name geschikt zou zijn voor het trainen, finetunen en de inferentie van AI-modellen.
Een andere vernieuwing betreft de beschikbaarheid van de Nvidia Vera-cpu's binnen de OCI. De op Arm gebaseerde processors zijn vooral bedoeld om taken uit te voeren die bij agentgebaseerde AI-toepassingen tussen de daadwerkelijke modelaanroepen door moeten worden uitgevoerd.
AMD en Meta: Helios-racks, aangepaste Instinct-GPU’s en nieuwe EPYC-processoren
Ook AMD en Meta hebben hun strategische samenwerking voor de uitbreiding van AI-infrastructuur bevestigd. De eerste racksystemen op basis van de AMD Helios-architectuur zijn inmiddels bij Meta geïnstalleerd en worden volop getest. Een grotere uitrol staat gepland voor de nabije toekomst. Het Helios-referentieplatform combineert in zijn standaardconfiguratie 72 Instinct MI455X-versnellers met Epyc-processoren van de zesde generatie (Venice) en Pensando Vulcano-netwerkadapters. De gpu's worden via UALink met elkaar verbonden. Het platform is ontworpen volgens de open Open-Rack-Wide-standaard (ORW) en biedt volgens AMD een theoretische FP4-rekenkracht van 2,9 exaFLOPS, 31 TB hbm4-geheugen en een interne gpu-verbindingsbandbreedte van 260 TB/s. Helios is een referentiearchitectuur die door verschillende systeemfabrikanten kan worden geïmplementeerd.
Daarnaast speelt de ontwikkeling van klantspecifieke AI-accelerators een belangrijke rol. Meta was al in een vroeg stadium betrokken bij het ontwerpen van de Instinct MI450-architectuur en zal een variant inzetten die speciaal is afgestemd op de eigen AI-workloads. Dergelijke systemen zullen worden ingezet in het kader van de bestaande overeenkomst voor de opbouw van maximaal 6 GW aan op AMD gebaseerde AI-infrastructuur. De samenwerking strekt zich bovendien uit tot de komende Instinct MI500-generatie en andere rack-scale-platforms. Daarbij stemmen AMD en Meta de ontwikkeling van de versnellers, processors, netwerktechnologie en software op elkaar af. Concrete technische details over de voor Meta aangepaste MI450-acclerators werden in de huidige aankondiging niet vermeld.
Ook op het gebied van serverprocessoren wordt de samenwerking voortgezet. Meta maakt naar eigen zeggen al gebruik van miljoenen Epyc-processoren van verschillende generaties en behoort tot de eerste grote klanten van de zesde Epyc-generatie met de codenaam Venice. Deze processoren zullen onder andere de cpu-gerelateerde taken binnen de AI-infrastructuur op zich nemen. Tegelijkertijd werken beide bedrijven al aan toekomstige generaties processors, waaronder de architectuur die onder de codenaam Verano wordt ontwikkeld. Epyc-processors worden bij Meta bijvoorbeeld ingezet in de speciale rekenomgevingen van de AI-agent Muse.
