Advertentie
Microsoft introduceert de derde generatie van zijn AI-accelerator voor inferentie. Met de Maia 300 zet Microsoft zijn strategie van verdere schaalvergroting voor zijn eigen hardware verder en is het bedrijf van plan om voornamelijk zijn eigen diensten hierop te laten draaien. Microsoft wil zijn Azure-datacenters vanaf 2027 op grote schaal uitrusten met de zelfontwikkelde AI-accelerators van de derde Maia-generatie. De Maia 300 is naar eigen zeggen speciaal afgestemd op de eisen van Microsofts AI-diensten en moet bij hetzelfde stroomverbruik ongeveer 40% meer tokens genereren dan zijn voorganger, de Maia 200.
De accelerator wordt geproduceerd door TSMC op het N2P-procedé. Naast de compute-die bevinden zich twee i/o-chiplets, vier chiplets met geheugencontrollers en acht hbm4-stacks met elk een capaciteit van 36 GB op één gezamenlijke package. In totaal is daarmee 288 GB hbm4 beschikbaar met een bandbreedte van ongeveer 18 TB/s. Microsoft schat de rekenkracht op 6,9 pflops bij FP8 en 13,8 pflops bij FP4.
Voor gebruik in datacenters worden telkens vier Maia 300-versnellers in één module ondergebracht. In totaal vormen 24 van deze modules een rack met 96 accelerators. Volgens Microsoft zou een dergelijk Maia 300-rack zeven keer de tokenprestaties van een Maia 200-rack moeten halen. Bij deze vergelijking dient echter te worden opgemerkt dat de huidige Maia 200-configuratie slechts 48 accelerators omvat. Microsoft geeft het stroomverbruik van een volledig uitgerust Maia 300-rack op als maximaal 167 kW. Daarmee bevindt het systeem zich in een vergelijkbare orde van grootte als de Vera Rubin NVL72 van Nvidia met 72 AI-accelerators
Vanaf 2027 zullen Maia 300-systemen met een cumulatief stroomverbruik van meerdere gigawatts worden ingezet in de Azure-datacenters van Microsoft. Bij een stroomverbruik van iets minder dan 1 kW per versneller zou dit neerkomen op miljoenen Maia 300-chips. Alleen al de opslagbehoefte neemt daarbij aanzienlijke proporties aan: een miljoen Maia 300-versnellers hebben in totaal 576 petabyte HBM4 nodig. De benodigde investeringen in de productie van de chips en de aanschaf van het geheugen zijn absurd hoog en zullen naar verwachting oplopen tot meerdere miljarden Amerikaanse dollar. Met het toegenomen gebruik van eigen AI-hardware streeft Microsoft tegelijkertijd naar een betere afstemming van de infrastructuur van zijn AI-diensten op de eigen behoeften en naar een vermindering van de afhankelijkheid van externe oplossingen.
