Advertentie
Meta ontwikkelt al enkele jaren eigen AI-versnellers, genaamd Training and Inference Accelerators (MTIA). In 2024 bracht Meta zijn eerste eigen AI-accelerator MTIA 100 naar zijn eigen datacenters. Het belangrijkste toepassingsgebied voor Meta op dit gebied is Ranking and Recommendation (R&R), dat bij velen bekend zou moeten zijn als het Timeline-algoritme. Het bedrijf heeft nu een gedetailleerde roadmap voor de komende jaren gepresenteerd.
De MTIA 300, die ontwikkeld is met het gebruik van R&R-modellen in het achterhoofd, staat momenteel op het punt om ingezet te worden, maar Meta heeft er ook met succes LLM's op getest. MTIA 300 is momenteel in productie.
Vergeleken met vorige generaties heeft MTIA 300 een aantal belangrijke innovaties: geïntegreerde NIC-chiplets, speciale messaging engines om collectieve communicatiebewerkingen te verlichten en near-memory compute. MTIA 300 bestaat uit een compute-chiplet, twee netwerkchiplets en verschillende stacks met hbm-geheugen. De compute-chiplet bestaat uit een raster van Processing Elements (PE's), met extra redundante PE's om yields in het fabricageproces te verbeteren.
Elke PE integreert verschillende gespecialiseerde eenheden:
- Twee RISC-V vector-cores voor scalaire en vectorgebaseerde besturings- en rekentaken
- Een dot-product engine voor matrixvermenigvuldigingen
- Een speciale functie-eenheid voor activeringsfuncties en element-voor-element bewerkingen
- Een reductie-engine voor accumulatie en inter-PE communicatie
- Een DMA-engine voor gegevensoverdracht van en naar het lokale scratch-geheugen
| MTAI 300 | MTAI 400 | MTAI 450 | MTAI 500 | |
| Toepassingsgebied | R&R-training | Algemeen | GenAI-inferentie | GenAI-inferentie |
| TDP | 800 W | 1.200 W | 1.400 W | 1.700 W |
| HBM bandbreedte | 6,1 TB/s | 9,2 TB/s | 18,4 TB/s | 27.6 TB/s |
| HBM capaciteit | 216 GB | 288 GB | 288 GB | 384 - 512 GB |
| MX4 rekenkracht | - | 12 PFLOPS | 21 PFLOPS | 30 PFLOPS |
| FP8/MX8 rekenkracht | 1,2 PFLOPS | 6 PFLOPS | 7 PFLOPS | 10 PFLOPS |
| BF16 rekenkracht | 0,6 PFLOPS | 3 PFLOPS | 3,5 PFLOPS | 5 PFLOPS |
| Schaalvergrotingsbereik | 16 | 72 | 72 | 72 |
| Opschalingsnetwerk | 1 TB/s | 1,2 TB/s | 1,2 TB/s | 1,2 TB/s |
| Uitgeschaald netwerk | 200 GB/s | 100 GB/s | 100 GB/s | 100 GB/s |
MTAI 400 en 450 als consistente doorontwikkeling
De MTIA 400 kan per 72 stuks samen in een rack werken, om grote modellen zoals Llama 3 te kunnen trainen. De geheugencapaciteit en geheugenbandbreedte worden ook vergroot, waarbij de nieuwe chip tot 400% meer FP8-rekenkracht en een 51% grotere hbm-geheugenbandbreedte biedt. Terwijl de MTIA 300 in de eerste plaats ontworpen was voor efficiëntie en lage kosten, heeft de MTIA 400 als doel om rekenprestaties te leveren die kunnen concurreren met high-end commerciële producten, naast een betere energie-efficiëntie.
Voor het eerst gebruikt Meta een chiplet-ontwerp met twee compute-dies in de MTIA 400 om de dichtheid in rekenkracht te verdubbelen ten opzichte van zijn voorganger. Bovendien ondersteunt de nieuwe generatie uitgebreide varianten van de MX8- en MX4-formaten, die bijzonder belangrijk zijn voor interferentie in generatieve AI, omdat ze een lage precisie combineren met een hoge efficiëntie. De MTIA 400 is met succes getest in dergelijke configuraties en wordt momenteel geleverd aan de eigen datacenters van het bedrijf.
De MTAI 450 wordt speciaal ontworpen voor inferenties, waarbij de geheugenbandbreedte overeenkomstig wordt verhoogd. Dit verhoogt de theoretische rekenkracht aanzienlijk (samen met nieuwe rekenformaten) met een lage nauwkeurigheid en maakt inferencing op deze chips efficiënter. De MTAI wordt ook gerealiseerd in rack-scale oplossingen met maximaal 72 chips. De massaproductie van de MTAI 450 staat gepland voor het voorjaar van 2027.
MTAI 500 in hetzelfde jaar
Meta verwacht een verdere toename in inferentieprestaties met de MTAI 500, die waarschijnlijk gebruik zal maken van hbm4- met een verdere toename in opslagcapaciteit en bandbreedte. Vergeleken met de MTAI 450 is de bandbreedte van het hbm-geheugen met nog eens 50% toegenomen, terwijl de geheugencapaciteit met 80% is toegenomen. De rekenkracht van de MX4 is ook met 43% verhoogd, zodat complexe inferentieprocessen nog kosteneffectiever in kaart kunnen worden gebracht.
De nieuwe generatie volgt consequent het modulaire chipletconcept: de MTIA 500 maakt gebruik van een 2×2 configuratie die bestaat uit vier kleinere rekenchiplets, omgeven door meerdere hbm-stacks en twee netwerkchiplets. Het ontwerp wordt aangevuld met een aparte soc-chiplet, die de verbinding met de host-processor via pcie en met externe netwerkinterfaces (NIC's) voor scale-out structuren verzorgt.
Net als bij de MTIA 450 heeft Meta ook bij de MTIA 500 extra hardwareversnellers en nieuwe innovaties op het gebied van gegevenstypes geïntegreerd om knelpunten bij de uitvoering van grote GenAI-modellen verder te verminderen. Als gevolg hiervan zou de MTIA 500 niet alleen hogere prestaties per watt moeten leveren, maar ook de algehele efficiëntie in datacenteractiviteiten aanzienlijk moeten verbeteren.
De MTAI 500 zal ook vanaf 2027 geproduceerd worden.
Meta werkt samen met Broadcom om de hardware te ontwikkelen. Met zijn eigen hardware kan Meta zichzelf minder afhankelijk maken van externe leveranciers zoals Nvidia en AMD en kan het de hardware ook aanpassen aan zijn eigen vereisten. Daarbij komt de MTIA-softwarestack, die ontworpen is als een PyTorch-native benadering.