Advertentie
Microsoft heeft de Maia 200 geïntroduceerd, een AI-inferentieaccelerator die moet uitblinken in het genereren van AI-tokens. De techgigant claimt de krachtigste zelfontwikkelde oplossing van alle hyperscalers, met concurrenten zoals Amazon en Google. Ook de efficiëntie gaat erop vooruit.
Maia 200 is vervaardigd op TSMC's 3nm-procedé en beschikt over 140 miljard transistors, alsook 216 GB hbm3e. Microsoft heeft 272 MB on-chip sram en speciale data movement-engines ingebouwd om gigantische modellen snel genoeg van data te kunnen voorzien. De AI-chip moet drie keer sneller zijn dan Amazons beste oplossing in FP4-workloads en ongeveer een tiende meer FP8-rekenkracht leveren dan Googles TPU v7. Microsoft voegt toe dat het de efficiëntste AI-accelerator is die het tot nu toe heeft ingezet, met 30% meer prestaties per dollar.
| Azure Maia 200 | AWS Trainium3 | Google TPU v7 | |
|---|---|---|---|
| Procedé | 3nm | 3nm | 3nm |
| FP4 TFLOPS | 10.145 | 2.517 | n.v.t. |
| FP8 TFLOPS | 5.072 | 2.517 | 4.614 |
| BF16 TFLOPS | 1.268 | 671 | 2.307 |
| HBM-technologie | HBM3E | HBM3E | HBM3E |
| HBM-bandbreedte (TB/s) | 7 | 4,9 | 7,4 |
| HBM-capaciteit (GB) | 216 | 144 | 192 |
| Scale-up bandbreedte: bidirectioneel (TB/s) | 2,8 | 2,2–2,56 | 1,2 |
Praktisch gezien wordt de Maia 200 per vier stuks in een servertray geplaatst. De accelerators worden aan elkaar gelinkt door middel van directe non-switched links, waardoor de communicatie met hoge bandbreedte vrij blijft voor optimale inferentie-efficiëntie - zowel voor intra- als inter-rack-networking. Dit maakt clusters met tot 6.144 accelerators mogelijk. Het 750W-tdp wordt onder controle gehouden door closed loop-waterkoeling.
Microsoft heeft de Maia 200 reeds ingezet in zijn US Central-datacenters dichtbij Des Moines, Iowa. Het bedrijf gaat de accelerator inzetten voor verschillende AI-modellen, waaronder OpenAI's GPT 5.2 voor Microsoft Foundry en 365 Copilot. Het Microsoft Superintelligence-team zal Maia 200 gebruiken voor het genereren van synthetische gegevens en reinforcement learning om de volgende generatie interne modellen te verbeteren.