Advertentie
Deze week heeft Huawei op zijn Connect-conferentie in Shanghai de nieuwe Atlas 960E SuperPoD gepresenteerd. Dit nieuwe datacenterproduct vormt een alternatief voor het duopolie van AMD en Nvidia op het gebied van grootschalige AI-hardware.
Een SuperPoD is vergelijkbaar met de grotere systemen van AMD en Nvidia en bedoeld voor het verwerken van grote AI-modellen. Volgens David Wang, Deputy Chairman of the Board en Rotating Chairman bij Huawei, is de omgeving geschikt om zeer grote modellen tot 10 biljoen parameters te verwerken.
Waar de twee Amerikaanse fabrikanten inzetten op GPU’s, past Huawei NPU’s toe, waarmee het zeer schaalbare rekenkracht weet te realiseren. In het systeem zijn 4.096 NPU’s te vinden, met een rekenkracht van 8 EFLOPS bij FP8-precisie en 16 EFLOPS bij FP4-precisie.
Huawei is van oudsher een netwerkspecialist en dat is te merken aan de architectuur van het systeem, waarin veel gebruik wordt gemaakt van optische verbindingen. In het systeem worden 5.500 HI-ONE optische verbindingen toegepast met een verbindingssnelheid van 7,2 Tbit/s. Om de benodigde verbindingen te realiseren, waren voorheen 5.500 800Gbit/s-verbindingen nodig. Door HI-ONE toe te passen, wordt het energieverbruik van de SuperPoD met 550 kW verminderd. De SuperPoD-systemen komen volgend jaar op de markt. Door het duopoly te doorbreken, bevordert Huawei de concurrentie.
Het is mogelijk om in een datacenter meerdere SuperPoD’s te combineren. Deze systemen kunnen samenwerken, waardoor tot 512.000 NPU’s gecombineerd kunnen worden. Voor efficiënter gebruik van de systemen biedt Huawei ook caching van gegenereerde AI-informatie met behulp van KV-caching. De nieuwe OceanStor M900 kan caching op petabyte-niveau bieden.
