- Details
- Geschrieben von: Frank Everaardt
- Kategorie: Artikelen - Servers
AI wordt steeds meer onderdeel van het dagelijks leven. Modellen en gebruiksmogelijkheden veranderen. AMD laat deze week op zijn Advancing AI-evenement in San Francisco zijn visie op de markt zien.
Het bedrijf biedt verschillende producten voor AI-toepassingen. Uiteraard biedt het GPU’s aan, maar ook processors en producten om daadwerkelijk van AI te profiteren, zoals processors in computers, netwerkprocessors en chips die worden gebruikt voor robots en andere ‘fysieke’ AI-toepassingen.
{nozuna nzimagefromgallery}40c0a46a-8628-11f1-a267-000c2932240f 0{/nozuna nzimagefromgallery}Een aantal jaren geleden heeft het bedrijf zijn visie op AI opgedeeld in vier pijlers. Dit is een richtsnoer waarmee het naar eigen zeggen is gelukt optimale prestaties tegen lage kosten te realiseren.
{nozuna nzimagefromgallery}8df0e7d0-8629-11f1-a267-000c2932240f 3{/nozuna nzimagefromgallery}Deze week ligt de focus op de datacenterproducten van het bedrijf. Daarbij introduceert AMD de nieuwe Instinct MI455X-GPU voor AI en de nieuwe Venice EPYC 7006-serie, waarin voor het eerst Zen 6-cores worden toegepast. Deze cores zullen we naar alle waarschijnlijkheid ook in andere producten van het merk tegenkomen, zoals Ryzen-cpu’s en de Threadripper-producten voor workstations. Veel details wil het alleen nog niet over de nieuwe cores prijsgeven.
{nozuna nzimagefromgallery}40c0a46a-8628-11f1-a267-000c2932240f 10{/nozuna nzimagefromgallery}Daarnaast biedt het bedrijf met Helios een standaard voor datacenters met bredere servers dan de standaard 19-inchracks, waardoor er meer ruimte is voor de hardware en koeling die nodig zijn voor AI-toepassingen.
{nozuna nzimagefromgallery}a8de735e-8629-11f1-a267-000c2932240f 8{/nozuna nzimagefromgallery}
Op het vlak van desktop- en notebookprocessors was er weinig nieuws. Wel kondigde AMD Gorgon Halo aan, een nieuwe Halo-chip, zoals deze in de door ons gestest Z2 Mini van HP wordt toegepast met 192 in plaats van de 128 GB werkgeheugen van het huidige model. Gorgon Halo is in staat om grotere AI-modellen lokaal uit te voeren. Ook kondigde AMD een samenwerking met Cisco aan voor het beveiligen van AI-gebruik.
{nozuna nzimagefromgallery}a8de735e-8629-11f1-a267-000c2932240f 12{/nozuna nzimagefromgallery}{nozuna nzimagefromgallery}8df0e7d0-8629-11f1-a267-000c2932240f 12{/nozuna nzimagefromgallery}
De AMD Instinct MI455X is gebaseerd op de CDNA 5-architectuur van AMD, wordt geproduceerd op het 2nm-proces van TSMC en bevat 320 miljard transistors. Voor het uitvoeren van AI-taken is het geheugen van de gpu van groot belang. De nieuwe chip beschikt over maar liefst 432 GB geheugen op 23,3 TB/s. Dat is aanmerkelijk meer dan de concurrentie op dit moment biedt. Behalve over een grotere hoeveelheid geheugen beschikken de chips ook over een vergrote geheugenbandbreedte, zodat taken sneller en efficiënter kunnen worden uitgevoerd. Dit betekent dat de nieuwe chips een veel hogere tokendoorvoer kunnen behalen.
{nozuna nzimagefromgallery}8df0e7d0-8629-11f1-a267-000c2932240f 13{/nozuna nzimagefromgallery}AMD past ROCm toe als alternatief voor Nvidia CUDA. De afgelopen tijd is de ondersteuning van het systeem sterk verbeterd. Zo zijn veel modellen op het populaire platform Hugging Face compatibel met de GPU’s.
{nozuna nzimagefromgallery}8df0e7d0-8629-11f1-a267-000c2932240f 5{/nozuna nzimagefromgallery}De nieuwe GPU heeft 192 HBM4-geheugenkanalen en 192 GB L2-cache. De GPU beschikt over I/O met twee PCI Express 6-interfaces of drie AMD AI-NIC’s. Doordat de nieuwe GPU over meer geheugen beschikt, kan er meer caching plaatsvinden en kan er met grotere modellen worden gewerkt. Voor veel belangrijke taken is de nieuwe GPU tot vier keer zo snel als zijn voorganger. Nieuw is ook de mogelijkheid om data efficiënter in het geheugen te verplaatsen, zonder dat de WGP’s hiermee bezig hoeven te zijn. De krachtige GPU’s kunnen bovendien worden verdeeld in onafhankelijk werkende delen, maar ook samenwerken als één geheel.
{nozuna nzimagefromgallery}eeb3b36e-867c-11f1-a267-000c2932240f 0{/nozuna nzimagefromgallery}Voor veel belangrijke taken is de nieuwe GPU tot vier keer zo snel als zijn voorganger. Nieuw is ook de mogelijkheid om data efficiënter in het geheugen te verplaatsen, zonder dat de WGP’s hiermee bezig hoeven te zijn. De krachtige GPU’s kunnen bovendien worden verdeeld in onafhankelijk werkende delen, maar ook samenwerken als één geheel.
{nozuna nzimagefromgallery}eeb3b36e-867c-11f1-a267-000c2932240f 0{/nozuna nzimagefromgallery} {nozuna nzimagefromgallery}eeb3b36e-867c-11f1-a267-000c2932240f 3{/nozuna nzimagefromgallery} {nozuna nzimagefromgallery}eeb3b36e-867c-11f1-a267-000c2932240f 7{/nozuna nzimagefromgallery}Dit schema toont een logisch diagram van de XCD's. Dit zijn de acceleratorcomplex-chiplets, en daarin bevinden zich de werkprocessoren (WGP). Elk van deze XCD's heeft twee shader-engines.Iedere shader-engines heeft zeventien WGP’s. Fysiek zijn er 16 geactiveerd. We gebruiken er één voor de opbrengst. En die twee shader-engines worden vervolgens verpakt in een chiplet.
{nozuna nzgallery}eeb3b36e-867c-11f1-a267-000c2932240f 4{/nozuna nzgallery} {nozuna nzgallery}eeb3b36e-867c-11f1-a267-000c2932240f 30{/nozuna nzgallery}Instinct MI350P
Een maatje kleiner is de nieuee MI350P. Deze gpu is bedoeld voor gebruik in servers in een bedrijf of het eigen datacenter van organisaties. AMD belooft tot ruim vier keer de prestaties per geinvesteerde dollar te bieden dan Nvidia met zijn RTX 6000 Pro.
{nozuna nzimagefromgallery}4cc80912-86c2-11f1-9ad4-000c29322405 0{/nozuna nzimagefromgallery} {nozuna nzimagefromgallery}4cc80912-86c2-11f1-9ad4-000c29322405 1{/nozuna nzimagefromgallery}{nozuna nzimagefromgallery}6c8da3d3-8627-11f1-a267-000c2932240f 2{/nozuna nzimagefromgallery}
Op Advancing AI haalt AMD het doek af van de zesde generatie EPYC-processors voor servers. De eerste generatie kwam acht jaar geleden op de markt. In dat prille begin wist AMD 2 procent van de markt te pakken; inmiddels heeft het 46 procent van de markt in handen.
{nozuna nzimagefromgallery}6c8da3d3-8627-11f1-a267-000c2932240f 3{/nozuna nzimagefromgallery}De codenamen van de AMD-serverprocessors zijn gebaseerd op Italiaanse steden. Het begon met Naples, de nieuwe generatie wordt Venice genoemd.
{nozuna nzimagefromgallery}6c8da3d3-8627-11f1-a267-000c2932240f 6{/nozuna nzimagefromgallery}De nieuwe chips krijgen in veel gevallen een rol binnen AI-toepassingen. Tot nu toe werden processors vooral gebruikt als verkeersregelaar tussen de GPU’s. Inmiddels komen er meer systemen die zijn ingericht voor agentische toepassingen. In dat soort omgevingen nemen processors meer taken voor hun rekening en wordt niet alles meer uitgevoerd door GPU’s. Efficiëntie voor dit soort taken is dan ook een belangrijk element geweest bij de ontwikkeling van de nieuwe serie. CPU-servers voor agentische toepassingen worden ‘sandbox-servers’ genoemd. De huidige Turin-chips kunnen het dubbele aantal agents per watt afhandelen ten opzichte van Vera Rubin. Venice haalt 2,8 keer zoveel.
{nozuna nzimagefromgallery}6c8da3d3-8627-11f1-a267-000c2932240f 9{/nozuna nzimagefromgallery}We noemen het bewust een serie. Er komen namelijk verschillende varianten op de markt voor verschillende omgevingen. AMD is ervan overtuigd dat deze generatie de beste serverprocessorfamilie van dit moment is. De familie komt in vier varianten op de markt, waarbij SP7- en SP8-sockets worden toegepast. Ook is er een speciale low-profilevariant. De nieuwe chips kunnen tot 256 Zen 6c-cores of 96 Zen 6-cores bevatten. Daarnaast kan er 3D V-Cache aanwezig zijn met een maximale grootte van 1152 MB. De nieuwe chips ondersteunen zestien kanalen met MRDIMM met een doorvoer tot 12.800 MB/s en standaard-DIMM tot 8.000 MB/s. Daarnaast kan er worden gekozen voor LPDDR5 met 24 kanalen. Het zijn eveneens de eerste chips met ondersteuning voor PCI Express 6. De chips bieden tot 128 kanalen van 64 Gbit/s.
{nozuna nzimagefromgallery}6c8da3d3-8627-11f1-a267-000c2932240f 10{/nozuna nzimagefromgallery}De L2-cache is opnieuw verdeeld en via Infinity Fabric gekoppeld.
AMD richt zich met Venice en Verano op omgevingen waarin veel verschillende taken tegelijk moeten worden uitgevoerd. Dat verklaart waarom er niet één processor komt, maar een complete familie. Veel klanten bouwen momenteel systemen voor agentische AI en proberen daarbij de kosten zo laag mogelijk te houden. In klassieke AI-servers fungeert de processor vooral als host: hij zorgt ervoor dat de GPU’s continu van werk worden voorzien. Tot nu toe kon één processor vaak meerdere GPU’s aansturen. In agentische omgevingen verschuift die verhouding vaker naar één CPU per GPU, omdat de processor zelf meer taken moet uitvoeren.
{nozuna nzimagefromgallery}6c8da3d3-8627-11f1-a267-000c2932240f 12{/nozuna nzimagefromgallery} {nozuna nzimagefromgallery}6c8da3d3-8627-11f1-a267-000c2932240f 13{/nozuna nzimagefromgallery} {nozuna nzimagefromgallery}6c8da3d3-8627-11f1-a267-000c2932240f 14{/nozuna nzimagefromgallery} {nozuna nzimagefromgallery}6c8da3d3-8627-11f1-a267-000c2932240f 15{/nozuna nzimagefromgallery}Een agentische AI-pijplijn bestaat uit meerdere stappen. De processor moet daarbij niet alleen de GPU’s actief houden, maar ook databases en andere systemen aansturen waaruit de agenten informatie ophalen. Daardoor wordt de rol van de CPU belangrijker dan bij traditionele AI-workloads. In iedere stap komen andere elementen aan bod en worden andere servers toegepast.
Caches worden ook steeds belangrijker. Tot nu toe werden caches voor tokens (KV-cache) in het geheugen van de GPU bewaard, maar volgens AMD wordt het belangrijker om deze caches in het werkgeheugen op te slaan. Mogelijk ontstaan hier in de toekomst zelfs specifieke servers voor. Kortom: achter de inzet van een agent gaat een groot aantal servers schuil. Het is te vergelijken met een domino-effect.
{nozuna nzimagefromgallery}1a47e3f2-862e-11f1-a267-000c2932240f 5{/nozuna nzimagefromgallery} {nozuna nzimagefromgallery}1a47e3f2-862e-11f1-a267-000c2932240f 7{/nozuna nzimagefromgallery}Caches worden ook steeds belangrijker. Tot nu toe werden caches voor tokens (KV-cache) in het geheugen van de GPU bewaard, maar volgens AMD wordt het belangrijker om deze caches in het werkgeheugen op te slaan. Mogelijk ontstaan hier in de toekomst zelfs specifieke servers voor. Kortom: achter de inzet van een agent gaat een groot aantal servers schuil. Het is te vergelijken met een domino-effect.
{nozuna nzimagefromgallery}1a47e3f2-862e-11f1-a267-000c2932240f 19{/nozuna nzimagefromgallery}Met de nieuwe AMD-modellen is het mogelijk om met 82 nieuwe servers, 1.000 zes jaar oude Intel Xeon-servers te vervangen.
{nozuna nzgallery}6c8da3d3-8627-11f1-a267-000c2932240f 21{/nozuna nzgallery}Met de hogedichtheidmodellen uit de EPYC Venice-serie is het mogelijk tot 49.152 cores in een rack te combineren.
{nozuna nzimagefromgallery}c1f88988-86bc-11f1-9ad4-000c29322405 0{/nozuna nzimagefromgallery}{nozuna nzimagefromgallery}eeb3b36e-867c-11f1-a267-000c2932240f 10{/nozuna nzimagefromgallery} {nozuna nzimagefromgallery}eeb3b36e-867c-11f1-a267-000c2932240f 11{/nozuna nzimagefromgallery}
In plaats van een stapel losse servers biedt Helios een architectuur die er één compleet systeem van maakt. Tot nu toe waren servers in een rack onafhankelijk van elkaar. In een Helios-rack worden de servers met elkaar gekoppeld, waardoor het geheel als één server kan worden gezien. Hiermee kunnen tot 72 GPU’s in één omgeving worden gecombineerd. Dat betekent dat toepassingen profiteren van een hoge bandbreedte en weinig vertraging. Door de hardware op slimme wijze te combineren, wordt ook de betrouwbaarheid verhoogd.
{nozuna nzimagefromgallery}eeb3b36e-867c-11f1-a267-000c2932240f 14{/nozuna nzimagefromgallery}Het rack is 44 ORW-hoogte-eenheden hoog en bevat 18 Compute Trays, 6 Switch Trays en 72 GPU’s. Voor de bekabeling zijn er vier cartridges. Het geheel maakt gebruik van een 50VDC-vloeistofgekoelde busbar voor de voeding. De servers en de GPU’s worden eveneens vloeistofgekoeld.
{nozuna nzimagefromgallery}eeb3b36e-867c-11f1-a267-000c2932240f 15{/nozuna nzimagefromgallery} {nozuna nzgallery}eeb3b36e-867c-11f1-a267-000c2932240f 16{/nozuna nzgallery}Het netwerk in een Helios-rack is ontworpen om het geheugen van de GPU’s te delen en probleemloos te laten samenwerken. Per GPU is 3,6 TB/s beschikbaar; in totaal is dat 260 TB/s per rack. Het systeem is zo ontworpen dat vrijwel onmerkbaar kan worden overgeschakeld als een GPU een probleem heeft. Als een taak vastloopt, heeft dit geen gevolgen voor andere taken. Alleen de taak met een probleem moet opnieuw worden gestart.
{nozuna nzimagefromgallery}eeb3b36e-867c-11f1-a267-000c2932240f 17{/nozuna nzimagefromgallery}Een Switch Tray maakt gebruik van twee 200G-switch-ASIC’s. Per switch is 21,6 TB/s beschikbaar. De switch wordt beheerd door Ryzen-processors en een BMC. Ook hier wordt gebruikgemaakt van vloeistofkoeling.
{nozuna nzimagefromgallery}eeb3b36e-867c-11f1-a267-000c2932240f 13{/nozuna nzimagefromgallery}Een Compute Tray heeft een SP7 EPYC-processor en vier MI455X-GPU’s aan boord. Voor de verbindingen binnen het netwerk is een DPU ingebouwd. Deze Pensando Salina 400 is meer dan een netwerkinterface en kan allerlei taken uitvoeren, zoals beveiliging en het versnellen van storageverbindingen. Voor verbindingen naar buiten zijn drie 800G-verbindingen beschikbaar op basis van AMD Pensando Vulcano 800.
{nozuna nzimagefromgallery}eeb3b36e-867c-11f1-a267-000c2932240f 12{/nozuna nzimagefromgallery}De nieuwe stappen van AMD betekenen veel voor een datacenter. In een van de slides wordt een voorbeeld gegeven van de vernieuwingen die mogelijk zijn. 82 nieuewe EPYC-servers kunnen een datacenter met 1.000 servers met zes jaar oude Intel Xeon-servers vervangen.
{nozuna nzimagefromgallery}6c8da3d3-8627-11f1-a267-000c2932240f 21{/nozuna nzimagefromgallery}Door gebruik te maken van de hogedichtheidmodellen uit de EPYC-Venice-serie is het mogelijk om tot 49.152 cores in een rack te combineren.
AMD heeft de afgelopen tijd veel werk verzet om AI-modellen geschikt te maken voor ROCm. Daarin zijn opvallend grote stappen gezet in een markt die door Nvidia wordt gedomineerd. Inmiddels werken 3 miljoen modellen op Hugging Face op deze infrastructuur. Dat geldt ook voor de top 10 open-sourcemodellen.
{nozuna nzimagefromgallery}0a081815-862f-11f1-a267-000c2932240f 2{/nozuna nzimagefromgallery} {nozuna nzimagefromgallery}0a081815-862f-11f1-a267-000c2932240f 4{/nozuna nzimagefromgallery} {nozuna nzimagefromgallery}0a081815-862f-11f1-a267-000c2932240f 5{/nozuna nzimagefromgallery}Enige tijd geleden heeft AMD Xilinx overgenomen. Dankzij deze overname heeft het nu een uitgebreid programma met netwerkchips en producten voor gebruik in allerlei apparaten, zoals robots. In het netwerksegment biedt het standaard netwerkchips en DPU’s. Voor verbindingen naar een server kunnen DPU’s worden benut. Dat zijn intelligente netwerkchips die allerlei taken van de processor kunnen overnemen. Denk hierbij aan beveiliging, maar bijvoorbeeld ook aan storagetoepassingen, zoals het beschikbaar stellen van een set SSD’s via een NVMe-netwerkprotocol. Voor scale-out, het laten samenwerken van servers, biedt AMD de tweede generatie Pensando Vulcano AI-NIC’s met een bandbreedte tot 800 gigabit.
{nozuna nzimagefromgallery}0a081815-862f-11f1-a267-000c2932240f 3{/nozuna nzimagefromgallery} {nozuna nzimagefromgalleryoriginal}a2865abf-8627-11f1-a267-000c2932240f 6{/nozuna nzimagefromgalleryoriginal}{nozuna nzimagefromgallery}d7d0a8b3-8627-11f1-a267-000c2932240f 3{/nozuna nzimagefromgallery} {nozuna nzimagefromgallery}d7d0a8b3-8627-11f1-a267-000c2932240f 4{/nozuna nzimagefromgallery}
Robots bieden mede dankzij AI steeds meer mogelijkheden. AMD heeft verschillende producten voor dit segment. Om een robot te laten werken, zijn diverse processors en FPGA’s nodig.
{nozuna nzimagefromgallery}d7d0a8b3-8627-11f1-a267-000c2932240f 6{/nozuna nzimagefromgallery} {nozuna nzimagefromgallery}d7d0a8b3-8627-11f1-a267-000c2932240f 7{/nozuna nzimagefromgallery}Een van de nieuwste processors voor dit segment is de Ryzen AI X100, op basis van x86-techniek, voorzien van een RDNA 3.5-GPU en een XDNA 2-NPU. AMD heeft ook een system-on-chip ontwikkeld die door verschillende fabrikanten op de markt wordt gebracht en als basis kan dienen voor tal van producten.
{nozuna nzimagefromgallery}d7d0a8b3-8627-11f1-a267-000c2932240f 8{/nozuna nzimagefromgallery}Om ontwikkelaars van robots te helpen, komt AMD ook met KRIA, een developmentplatform op basis van de SOM met alle belangrijke aansluitingen om robots te ontwikkelen. Een ontwikkelaar kan het apparaat op het bureau zetten en direct aan de slag gaan.
{nozuna nzimagefromgallery}d7d0a8b3-8627-11f1-a267-000c2932240f 9{/nozuna nzimagefromgallery}- Details
- Geschrieben von: Frank Everaardt
- Kategorie: Artikelen - Servers
De ontwikkelingen in de serverwereld gaan razendsnel, en Supermicro groeit mee. We spreken met Vik Malyala, Managing Director & President EMEA, over AI, geopolitiek en technologische trends.
Van cloud naar eigen infrastructuur
We bevinden ons in een transitie: waar bedrijven eerst massaal naar de cloud gingen, zien we nu dat steeds meer taken teruggehaald worden naar on-premise servers. Malyala: “Het is een hybride situatie. De cloud verdwijnt niet, maar we krijgen steeds vaker vragen van klanten die AI-taken liever op eigen servers uitvoeren. Niet alleen de verwerking, maar ook de opslag van AI-data wordt steeds vaker lokaal geregeld.”
Geopolitiek en datasoevereiniteit
Er is veel discussie over het terughalen van IT naar eigen beheer of ten minste binnen Europa. “Klanten zitten vaak in een spagaat. Cloudproviders maken het eenvoudig om data op te slaan, maar het terughalen ervan is vaak complex. Enerzijds willen bedrijven de nieuwste technologieën benutten, anderzijds zorgt de geopolitieke situatie voor onzekerheid over databeheer.”
De waarde van data en de rol van IT-beheerders
“Data was altijd al waardevol, maar dankzij AI kunnen we nu veel sneller inzichten halen uit grote hoeveelheden informatie. De spreekwoordelijke naald in de hooiberg is makkelijker te vinden dan ooit.”
Waar eerder werd gedacht dat IT-beheerders overbodig zouden worden door de cloud, is hun rol nu juist cruciaal. “IT werd lange tijd ondergewaardeerd. Mensen waarderen beheerders pas als er iets misgaat. Grote bedrijven kunnen deze experts aantrekken en behouden, maar voor kleinere organisaties is dat lastiger. Daarom ontwikkelen wij systemen die eenvoudig te installeren en beheren zijn, zoals onze foolproof watergekoelde oplossingen.”
{nozuna nzimagefromgallery}67d4c982-aa4f-11f0-8b63-000c2932240f 0{/nozuna nzimagefromgallery}Technologische evolutie in serverdesign
De standaard 19-inch servers zullen plaats moeten maken voor grotere formaten door toenemende warmteontwikkeling en chipgrootte. “De serverdichtheid neemt toe, en snelle interne verbindingen worden steeds belangrijker. Traditionele voedingen voldoen niet meer. We zien een verschuiving naar 21-inch systemen, een extern voedingssysteem dat meerdere systemen voedt en een nieuwe geheugenarchitectuur met meerdere lagen. Denk aan HBM-geheugen dicht bij de CPU/GPU en LPDDR5-geheugen via CXL op afstand. Het is vergelijkbaar met mijn oude HiFi-set: losse componenten voor topkwaliteit versus een smartphone voor gemak.”
AI-blauwdrukken en klantondersteuning
“Het kiezen van het juiste AI-systeem is complex. Daarom bieden we blauwdrukken aan voor systemen met bijvoorbeeld RTX 6000 Pro of AMD-oplossingen. Klanten kunnen kiezen uit configuraties zoals 1U, 2U, 1 of 2 CPU’s. Het is nog geen kwestie van één druk op de knop, maar het is al veel eenvoudiger dan voorheen.”
AI-implementatie in sectoren
Voor toepassingen in bijvoorbeeld accountancy, logistiek of gezondheidszorg is expertise nodig. “Consultancybedrijven spelen hierin een sleutelrol, tenzij een organisatie de kennis zelf in huis heeft. De implementatie van AI lijkt op die van professionele software zoals Salesforce.”
AI staat nog in de kinderschoenen
“Net zoals je vroeger HTML moest kennen om een website te bouwen, en nu met WordPress snel een site maakt, moet AI zich nog ontwikkelen. In de gezondheidszorg liggen veel kansen, maar het is alsof we een paard hebben zonder zadel. Denk aan de evolutie van de smartphone: van de Nokia Communicator naar de iPhone, die het internetgebruik fundamenteel veranderde.”
Toekomst van datacenters
“Datacenters blijven zich ontwikkelen, vooral in Noord-Europa vanwege de beschikbaarheid van energie. Datasoevereiniteit wordt steeds belangrijker. We blijven luchtgekoelde systemen ontwikkelen vanwege hun eenvoud, en dankzij krachtige chips kunnen we taken die voorheen twee servers vereisten, nu op één server uitvoeren.”
[preisneu]#####[/preisneu]
- Details
- Geschrieben von: Frank Everaardt
- Kategorie: Artikelen - Servers
Het internet is fysieker dan vaak gedacht. Achter elke digitale dienst staan duizenden servers die continu operationeel zijn om nieuws, communicatie, video’s en AI-functionaliteit te ondersteunen. Een van de prominente spelers in deze markt is het Amerikaanse HPE, dat via een strategisch partnerschap met Foxconn een sterke Europese productievoetafdruk heeft.
{nozuna nzimagefromgallery}080cff07-a50c-11f0-8b63-000c2932240f 4{/nozuna nzimagefromgallery}In Kutná Hora, een stad in Tsjechië, bevindt zich een geavanceerde productiefaciliteit die oorspronkelijk door Sony werd opgezet en inmiddels is geïntegreerd in Foxconn’s wereldwijde netwerk. Deze Gigafactory is verantwoordelijk voor de assemblage van servers en racks voor HPE en levert maandelijks circa 30.000 servers en 500 racks. Opvallend is dat deze output het inwoneraantal van Kutná Hora (ca. 20.000) ruimschoots overstijgt.
Mark Armstrong van HPE licht toe: “Lokale productie biedt aanzienlijke voordelen. Klanten beschikken sneller over hun systemen, en dankzij uitgebreide pre-shipment tests kunnen zij hun infrastructuur vrijwel direct in gebruik nemen.”
{nozuna nzimagefromgallery}080cff07-a50c-11f0-8b63-000c2932240f 5{/nozuna nzimagefromgallery}
De fabriek beslaat bijna 10.000 vierkante meter en biedt werk aan 1.500 Foxconn-medewerkers en 55 HPE-specialisten. De productie draait vrijwel continu, met minimale onderbrekingen, om aan de groeiende vraag te voldoen. Het contrast tussen de Europese locatie en Foxconn’s Aziatische roots is opvallend, zeker gezien het feit dat hier ook componenten voor Apple worden vervaardigd.
{nozuna nzimagefromgallery}080cff07-a50c-11f0-8b63-000c2932240f 6{/nozuna nzimagefromgallery}{nozuna nzimagefromgallery}080cff07-a50c-11f0-8b63-000c2932240f 0{/nozuna nzimagefromgallery}
De serverproductie is grotendeels gestandaardiseerd en deels handmatig. Op basis van klantorders worden behuizingen langs meerdere assemblagestations geleid. De workflow start met de installatie van het moederbord, gevolgd door processor, geheugenmodules en opslagmedia. Voor precisie wordt gebruikgemaakt van plexiglasmallen die de exacte positionering van schroeven faciliteren. Na een eindcontrole worden de servers voorzien van identificatiestickers.
{nozuna nzimagefromgallery}080cff07-a50c-11f0-8b63-000c2932240f 2{/nozuna nzimagefromgallery}{nozuna nzimagefromgallery}080cff07-a50c-11f0-8b63-000c2932240f 3{/nozuna nzimagefromgallery}
Naast servers worden ook volledige racks geassembleerd, volledig afgestemd op klantspecifieke configuraties. Klanten bepalen zelf de bekabelingsstructuur en serverplaatsing. Na assemblage ondergaat elk rack een uitgebreide functionele test in een aparte ruimte, zodat eventuele fouten vóór verzending kunnen worden gecorrigeerd.
{nozuna nzimagefromgallery}080cff07-a50c-11f0-8b63-000c2932240f 7{/nozuna nzimagefromgallery}
HPE en Foxconn voorzien een aanhoudende groei in servervraag en plannen daarom een substantiële uitbreiding van de Gigafactory. Volgens Armstrong zal binnen vijf jaar het merendeel van de systemen watergekoeld zijn, mede door de toenemende energiebehoefte van AI-workloads. Dit vereist een fundamentele herziening van het systeemontwerp en productieproces.
Een leuk weetje: Kutná Hora staat bekend om het Sedlec Ossuarium, een bottenkapel
- Details
- Geschrieben von: Frank Everaardt
- Kategorie: Artikelen - Servers
Cloudhoster Exoscale, een dochteronderneming van het Oostenrijkse A1 Digital, werkt met het eveneens Oostenrijkse bedrijf Diggers aan een efficiënter datacenter. Het concept dat ze hebben ontwikkeld, wordt al enkele maanden getest. Het doel is niet alleen om de hardware efficiënt te koelen door middel van waterkoeling, maar ook om gebruik te maken van restwarmte. We bezochten een A1-datacenter in Wenen, waar Exoscale zijn eigen servers heeft staan. Samen met Diggers is er een testopstelling operationeel, die we van dichtbij konden bekijken.Het toenemende stroomverbruik van datacenters wereldwijd betekent dat hun efficiëntie steeds meer onder de aandacht komt. De AI-trend heeft dit versterkt, maar zelfs zonder die hausse zou duidelijk moeten zijn dat de zoektocht naar manieren en middelen om datacenters efficiënter te laten werken, onvermijdelijk is. Er zijn nu al eisen voor de exploitatie van een datacenter, en in Europa zullen de komende jaren steeds meer nieuwe eisen aan nieuwbouw worden gesteld.
{nozuna nzimagefromgallery}be19006e-5e44-11f0-8b63-000c2932240f 0{/nozuna nzimagefromgallery}Tegelijkertijd is er een trend voor Europese gebruikers van dergelijke cloud-instances of datacenters om onafhankelijk te worden van de Amerikaansemarkt en een mogelijke uitstroom van gegevens naar de VS te voorkomen. Een Europese native cloud en digitale soevereiniteit zijn hier de sleutelwoorden, hoewel de vraag hoe soeverein men uiteindelijk kan zijn, gesteld moet worden over de complete software- en hardwarestack voor het exploiteren van een datacenter.
Exoscale heeft een passend aanbod in zijn programma en heeft co-locatieruimtes met andere datacenteroperators in Duitsland (Frankfurt en München), Zwitserland (Genève en Zürich), Oostenrijk (Wenen), Bulgarije (Sofia) en binnenkort ook in Kroatië (Zagreb). Exoscale is een dochteronderneming van A1 Digital en maakt daarom ook gebruik van de bijbehorende datacenters in Oostenrijk. Het dienstenaanbod van Exoscale omvat de gebruikelijke specificaties en certificeringen in de verschillende toepassingsgebieden voor datacenters van dit type - inclusief voor automotive en medische toepassingen.
Tegelijkertijd is er een trend voor Europese gebruikers van dergelijke cloud-instances of datacenters om onafhankelijk te worden van de Amerikaansemarkt en een mogelijke uitstroom van gegevens naar de VS te voorkomen. Een Europese native cloud en digitale soevereiniteit zijn hier de sleutelwoorden, hoewel de vraag hoe soeverein men uiteindelijk kan zijn, gesteld moet worden over de complete software- en hardwarestack voor het exploiteren van een datacenter.
Exoscale heeft een passend aanbod in zijn programma en heeft co-locatieruimtes met andere datacenteroperators in Duitsland (Frankfurt en München), Zwitserland (Genève en Zürich), Oostenrijk (Wenen), Bulgarije (Sofia) en binnenkort ook in Kroatië (Zagreb). Exoscale is een dochteronderneming van A1 Digital en maakt daarom ook gebruik van de bijbehorende datacenters in Oostenrijk. Het dienstenaanbod van Exoscale omvat de gebruikelijke specificaties en certificeringen in de verschillende toepassingsgebieden voor datacenters van dit type - inclusief voor automotive en medische toepassingen.
{nozuna nzimagefromgallery}be19006e-5e44-11f0-8b63-000c2932240f 1{/nozuna nzimagefromgallery}De vloeistofgekoelde servers van Diggers zijn hermetisch afgesloten en geïsoleerde dozen waarin de hardware wordt gebruikt. Componenten met veel afvalwarmte, zoals de processors en accelerators, zijn uitgerust met een speciaal ontworpen waterkoeler. De afvalwarmte van andere componenten, zoals het geheugen, de netwerkcomponenten, de voeding en de massaopslag, blijft in de box en wordt via warmtewisselaars aan de achterkant overgedragen aan het vloeistofcircuit. Dit betekent dat alle afvalwarmte van de server wordt gebruikt.
In het geval van gebruik in het A1 Vienna-2 datacenter, gebruiken Exoscale en Diggers het hier geleverde koelwater met een aanvoertemperatuur van ongeveer 16 tot 17 °C. Een waterpomp voorziet meerdere racks tegelijk van water. Een waterpomp voorziet meerdere racks tegelijk en pompt (of zuigt, daar komen we nog op) ongeveer 8 liter per minuut door de leidingen. De warmtewisselaars maken ook deel uit van het watercircuit. Dit betekent dat alle afvalwarmte van het systeem in het koelwater terechtkomt. De ruimte waarin Exoscale de Diggers-servers gebruikt, heeft helemaal geen koeling. Warme en koude gangen, zoals gebruikelijk in een datacenter, zijn niet nodig.
De lage temperatuur van ongeveer 16 °C is niet essentieel voor de werking van de serverboxen. A1 moet nog evalueren of het ook mogelijk is om de retourstroom van de koude gangpaden, die iets warmer is, te gebruiken. A1 wil echter voorkomen dat de regeling van het circuit voor het hele datacenter wordt beïnvloed. De Diggers-systemen zouden ook zonder problemen water van 40 °C kunnen gebruiken - met navenant hogere hardwaretemperaturen.
{nozuna nzimagefromgallery}be19006e-5e44-11f0-8b63-000c2932240f 2{/nozuna nzimagefromgallery}De servers zijn niet uitgevoerd in een een klassiek 2U-, 4U- of 8U-formaat. In plaats daarvan installeert Diggers de afzonderlijke servers op trays die een complete server bevatten. Deze trays kunnen voor onderhoudsdoeleinden worden uitgetrokken. Een snelsluiting aan de achterkant verbindt het betreffende koelcircuit met de rest van het koelsysteem van het rack. Diggers probeert individuele slangen zoveel mogelijk te vermijden. Daarom verdeelt een soort backplate het koelwater naar de individuele trays. De trays zelf hebben een verdeler die het water vervolgens naar de individuele koelers stuurt.
{nozuna nzimagefromgallery}be19006e-5e44-11f0-8b63-000c2932240f 3{/nozuna nzimagefromgallery}Diggers produceert de koelers en andere onderdelen van het rack allemaal zelf. Met één gpu-koeler kunnen twee gpu’s worden gekoeld. De koeler zit tussen twee pcb’s, in een soort sandwich. De koeler is gemaakt van aluminium en wordt met behulp van een cnc-freesmachine uit twee delen vervaardigd.
Volgens Diggers heeft de binnenstructuur van de koeler een speciale eigenschap. Het bedrijf wilde echter niet onthullen hoe de kanalen binnenin precies zijn gemaakt. Ze zijn niet gefreesd of geschraapt, of anderszins geproduceerd zoals andere koelers.
Aangenomen kan worden dat Diggers probeert om het oppervlak zo groot mogelijk te maken. Hoe dit precies wordt gedaan, blijft voorlopig geheim.De waterkoeler is niet met slangen verbonden met de koelwaterverdeler voor een tray, maar rechtstreeks met snelkoppelingen. Volgens Diggers zijn alle koppelingen en verbindingen een bron van fouten die zoveel mogelijk moet worden vermeden. In zijn huidige vorm kan de waterkoeler 1.000 W dissiperen - tweemaal 500 W per kant. De kaarten worden via een riserkaart op het systeem aangesloten.
Twee Intel Gold 6246R0’s (Cascade Lake) met elk zestien kernen, 256 GB ram, en zes NVIDIA A5000- of GeForce RTX 3080 Ti-kaarten worden in de servers van Diggers gebruikt. Met een stroomverbruik van 250 tot 350 W komen deze kaarten niet in de buurt van de maximaal mogelijke 1.000 W. Er passen vier servers in één serverkast; dat telt dus op tot in totaal 24 gpu’s per kast.
De waterpomp duwt het water niet in het circuit, maar zuigt het er doorheen. In het geval van een lek zou er geen water mogen ontsnappen, maar wordt er lucht in het circuit gezogen, wat op zijn beurt kan worden gedetecteerd.
{nozuna nzimagefromgallery}be19006e-5e44-11f0-8b63-000c2932240f 7{/nozuna nzimagefromgallery}Het project bevindt zich momenteel nog in een ‘proof of concept’-fase. Er is echter al een eerste klant - Streamdiver - die zijn diensten op een dergelijke server uitvoert.
Voor de volgende versie zijn nog meer veranderingen aan de serverboxen gepland. Het is bijvoorbeeld de bedoeling om de slangen voor het koellichaam van de cpu weg te laten en in plaats daarvan vaste leidingen te gebruiken. Er zullen waarschijnlijk ook enkele componenten worden gewijzigd, zoals de voedingsunits, en de hardware zal zeker moderner moeten worden om de efficiëntie verder te verbeteren. Het is ook de bedoeling om het systeem in het klassieke 19-inchformaat aan te bieden, zodat het in bestaande kasten kan worden geïnstalleerd.
Met waterkoeling en de voorwaarde dat de restwarmte wordt gebruikt en niet gewoon in het milieu terechtkomt, wordt het benodigde stroomverbruik van een dergelijke server met 50 procent verminderd. Dit geldt echter ook voor watergekoelde servers die hun afvalwarmte benutten. Een grote uitdaging voor datacenters is ervoor te zorgen dat de restwarmte verstandig wordt hergebruikt. In steden is aansluiting op het lokale stadsverwarmingsnetwerk mogelijk, terwijl bij andere datacenters wordt gekeken naar het verwarmen van kassen. Datacenters kunnen natuurlijk gemakkelijk in hun eigen verwarmingsbehoefte voorzien, en nooddieselgeneratoren kunnen in geval van tekort ook bijspringen. Een datacenter heeft zelf echter niet veel warmte nodig, en tot nu toe wordt restwarmte meestal afgevoerd naar de buitenlucht en wordt hij dus niet hergebruikt.
A1 Digital en Exoscale willen dat anders aanpakken. Want klanten kijken nu naar de CO2-impact van hun toepassingen in het datacenter. Exoscale wil daarom in de toekomst de juiste monitoring aanbieden, die zowel de gebruikte hardware en de aankoop ervan, als het directe stroomverbruik en het mogelijke gebruik van restwarmte omvat.
{nozuna nzimagefromgallery}be19006e-5e44-11f0-8b63-000c2932240f 5{/nozuna nzimagefromgallery}Tot 98% van de restwarmte zou gebruikt moeten kunnen worden. Uit een serverrack met 80 kW kan theoretisch ongeveer 78,5 kW terugvloeien - bijvoorbeeld naar een stadsverwarmingssysteem of, in het geval van randtoepassingen, rechtstreeks naar de klant. De serverkasten moeten ook IP67-gecertificeerd zijn, zodat vocht en stof geen probleem vormen. Diggers is een onafhankelijke leverancier van de serverkast, maar heeft in A1 Digital en Exoscale partners gevonden die al actief zijn op het gebied van datacenters en gerelateerde zaken. Theoretisch zouden serverfabrikanten of andere datacenterexploitanten dus gebruik kunnen maken van de hardware van Diggers.
Uit onze gesprekken met A1, en ook uit onze eigen ervaring, is duidelijk geworden dat met name grote datacenters zich meestal niet op de plaats bevinden waar restwarmte kan worden benut. Integendeel, ze bevinden zich meestal op afgelegen plaatsen. De levering van elektriciteit en een snelle en redundante glasvezelverbinding zijn de belangrijkste voorwaarden voor exploitatie.
Het verstandig gebruik van restwarmte is daarom vooral een logistieke uitdaging die niet echt verenigbaar is met de andere vereisten voor een datacenter. Maar de datacenterindustrie zal met dit probleem moeten omgaan. Zelfs als alle regelgeving voor de AI-boom in de VS overboord wordt gegooid, zal vroeg of laat ook daar aan bepaalde eisen voor het gebruik van restwarmte moeten worden voldaan.
De serverboxen van Diggers zouden één benadering kunnen zijn om de efficiëntie in datacenters te verhogen. Op grotere schaal voldoen volledig watergekoelde servers, zoals die momenteel in gebruik zijn, al aan deze eisen. Als de resterende restwarmte daarbij in het rack wordt opgevangen door warmtewisselaars, zou het ook mogelijk zijn om hier een groot deel van te gebruiken. Er is momenteel echter een gebrek aan opties voor het verstandig gebruik van restwarmte op datacenterlocaties.
- Details
- Geschrieben von: Frank Everaardt
- Kategorie: Artikelen - Servers
Vandaag werd de Gitex Global-beurs in Dubai afgetrapt. Deze techbeurs is de afgelopen jaren flink gegroeid. Dat is onder andere te zien aan het North Star-startupgedeelte. Hier presenteren vele bedrijven uit tal van windstreken zich, op zoek naar kapitaal en bekendheid zich.
Het zal je niet verbazen dat een groot deel van deze nieuwe bedrijven zich richten op AI-ontwikkelingen. Het blijft grappig om te zien dat velen hetzelfde probleem op proberen op te losen, van het tracken van huisdieren tot het bezorgen van pakjes en maaltijden met een robot. Ook kun je je soms afvragen of de sticker AI wel terecht op een nieuwe vinding is geplakt.
{nozuna nzimagefromgallery}5d7416b1-8977-11ef-9766-000c2932240f 0{/nozuna nzimagefromgallery}Een andere ontwikkeling, die steeds concreter wordt is quantumcomputing. Langzaam maar zeker worden stappen gezet om deze computers niet langer alleen in een laboratoriumomgeving te kunnen toepassen, maar ook binnen bedrijven en andere organisaties. De eigenschappen van een quantumcomputer zijn anders, bepaalde berekeningen zoals het kraken van code kunnen deze apparaten veel sneller dan de binaire computers die we allemaal kennen.
Deze ontwikkeling wordt van belang voor tal van toepassingen waar versleuteling wordt toegepast en dat zijn er heel veel. Veel webverkeer en bestanden worden versleuteld. Als quantumcomputers makkelijker beschikbaar worden, zijn de huidige versleutelingsmethoden waardeloos.
Op North Star troffen we ID Quantique uit Korea. Dit bedrijf maakt een hele kleine quantumgetallengenerator, die kan helpen om veiligere versleutelingen te maken. Dankzij het compacte formaat kan het eenvoudig in bestaande producten worden geïntegreerd.