Advertentie
De vloeistofgekoelde servers van Diggers zijn hermetisch afgesloten en geïsoleerde dozen waarin de hardware wordt gebruikt. Componenten met veel afvalwarmte, zoals de processors en accelerators, zijn uitgerust met een speciaal ontworpen waterkoeler. De afvalwarmte van andere componenten, zoals het geheugen, de netwerkcomponenten, de voeding en de massaopslag, blijft in de box en wordt via warmtewisselaars aan de achterkant overgedragen aan het vloeistofcircuit. Dit betekent dat alle afvalwarmte van de server wordt gebruikt.
In het geval van gebruik in het A1 Vienna-2 datacenter, gebruiken Exoscale en Diggers het hier geleverde koelwater met een aanvoertemperatuur van ongeveer 16 tot 17 °C. Een waterpomp voorziet meerdere racks tegelijk van water. Een waterpomp voorziet meerdere racks tegelijk en pompt (of zuigt, daar komen we nog op) ongeveer 8 liter per minuut door de leidingen. De warmtewisselaars maken ook deel uit van het watercircuit. Dit betekent dat alle afvalwarmte van het systeem in het koelwater terechtkomt. De ruimte waarin Exoscale de Diggers-servers gebruikt, heeft helemaal geen koeling. Warme en koude gangen, zoals gebruikelijk in een datacenter, zijn niet nodig.
De lage temperatuur van ongeveer 16 °C is niet essentieel voor de werking van de serverboxen. A1 moet nog evalueren of het ook mogelijk is om de retourstroom van de koude gangpaden, die iets warmer is, te gebruiken. A1 wil echter voorkomen dat de regeling van het circuit voor het hele datacenter wordt beïnvloed. De Diggers-systemen zouden ook zonder problemen water van 40 °C kunnen gebruiken - met navenant hogere hardwaretemperaturen.
De servers zijn niet uitgevoerd in een een klassiek 2U-, 4U- of 8U-formaat. In plaats daarvan installeert Diggers de afzonderlijke servers op trays die een complete server bevatten. Deze trays kunnen voor onderhoudsdoeleinden worden uitgetrokken. Een snelsluiting aan de achterkant verbindt het betreffende koelcircuit met de rest van het koelsysteem van het rack. Diggers probeert individuele slangen zoveel mogelijk te vermijden. Daarom verdeelt een soort backplate het koelwater naar de individuele trays. De trays zelf hebben een verdeler die het water vervolgens naar de individuele koelers stuurt.
Diggers produceert de koelers en andere onderdelen van het rack allemaal zelf. Met één gpu-koeler kunnen twee gpu’s worden gekoeld. De koeler zit tussen twee pcb’s, in een soort sandwich. De koeler is gemaakt van aluminium en wordt met behulp van een cnc-freesmachine uit twee delen vervaardigd.
Volgens Diggers heeft de binnenstructuur van de koeler een speciale eigenschap. Het bedrijf wilde echter niet onthullen hoe de kanalen binnenin precies zijn gemaakt. Ze zijn niet gefreesd of geschraapt, of anderszins geproduceerd zoals andere koelers.
Aangenomen kan worden dat Diggers probeert om het oppervlak zo groot mogelijk te maken. Hoe dit precies wordt gedaan, blijft voorlopig geheim.De waterkoeler is niet met slangen verbonden met de koelwaterverdeler voor een tray, maar rechtstreeks met snelkoppelingen. Volgens Diggers zijn alle koppelingen en verbindingen een bron van fouten die zoveel mogelijk moet worden vermeden. In zijn huidige vorm kan de waterkoeler 1.000 W dissiperen - tweemaal 500 W per kant. De kaarten worden via een riserkaart op het systeem aangesloten.
Twee Intel Gold 6246R0’s (Cascade Lake) met elk zestien kernen, 256 GB ram, en zes NVIDIA A5000- of GeForce RTX 3080 Ti-kaarten worden in de servers van Diggers gebruikt. Met een stroomverbruik van 250 tot 350 W komen deze kaarten niet in de buurt van de maximaal mogelijke 1.000 W. Er passen vier servers in één serverkast; dat telt dus op tot in totaal 24 gpu’s per kast.
De waterpomp duwt het water niet in het circuit, maar zuigt het er doorheen. In het geval van een lek zou er geen water mogen ontsnappen, maar wordt er lucht in het circuit gezogen, wat op zijn beurt kan worden gedetecteerd.
