Advertentie
Modders hebben een manier gevonden om verborgen beperkingen op de AI-rekenprestaties van verschillende Nvidia GeForce RTX-videokaarten te omzeilen. De aanpassingen zijn inmiddels gedemonstreerd op modellen uit de RTX 20-, RTX 30- en RTX 40-serie. Bij bepaalde berekeningen met Tensor Cores, de rekeneenheden die Nvidia inzet voor AI-taken, kan de theoretische doorvoer hierdoor bijna verdubbelen. Daarvoor is geen aangepaste videokaart of nieuwe VBIOS nodig. De winst geldt echter alleen voor specifieke berekeningen en leidt niet automatisch tot een vergelijkbare versnelling van AI-software.
Het project begon met GPU-Unlock, een opensourceproject voor videokaarten uit de RTX 30-serie. Inmiddels zijn er varianten voor de oudere Turing-architectuur van de RTX 20-serie en de Ada Lovelace-architectuur van de RTX 40-serie. De aanpassingen richten zich op beperkingen bij bepaalde Tensor Core-instructies, waaronder berekeningen met FP16- en BF16-getallen waarbij de tussenresultaten met FP32-precisie worden opgebouwd. FP16 en BF16 zijn numerieke formaten met een lagere precisie die veel worden gebruikt bij AI-berekeningen. Door de beperkingen op het uitvoeren van deze instructies te omzeilen, kunnen de Tensor Cores in specifieke omstandigheden meer berekeningen per seconde uitvoeren.
De aanpassing werkt op een laag niveau van de videokaart. De tools wijzigen bepaalde configuratieregisters voordat de reguliere Nvidia-driver de gpu initialiseert. Daarbij maken ze gebruik van een kwetsbaarheid in de firmware van een beveiligingscomponent op de gpu. De methode vereist dus geen aangepaste VBIOS en verandert de hardware zelf niet. De wijzigingen zijn tijdelijk en verdwijnen wanneer de videokaart de stroom verliest. De huidige implementaties richten zich voornamelijk op Linux; voor Windows zijn experimentele oplossingen beschikbaar.
De gemeten resultaten zijn opvallend. Bij een GeForce RTX 4090 steeg de gemeten FP16-doorvoer van 165,6 naar 331,6 TFLOPS, vrijwel een verdubbeling. TFLOPS staat voor biljoen drijvende-kommaoperaties per seconde. Bij een RTX 4070 Ti Super werd eveneens bijna een verdubbeling gemeten: van 95 naar ongeveer 190 TFLOPS. Een RTX 3090 Ti liet minder uniforme resultaten zien. De BF16-doorvoer steeg daar van 87,5 naar 157,4 TFLOPS, een verbetering van ongeveer 80 procent, terwijl de winst bij FP16-berekeningen rond 35 procent lag. De cijfers zijn afkomstig uit tests van ontwikkelaars en gebruikers en gelden niet automatisch voor iedere kaart of toepassing.
In de praktijk vallen de voordelen doorgaans kleiner uit dan de theoretische cijfers suggereren. Bij AI-modellen spelen namelijk ook de geheugenbandbreedte, de hoeveelheid videogeheugen en de gebruikte software een rol. Bij het verwerken van een prompt voor een lokaal taalmodel kan de versnelling volgens gebruikersmetingen op bepaalde RTX 30-kaarten ongeveer 14 tot 36 procent bedragen. Het genereren van afzonderlijke tokens wordt vaak beperkt door de snelheid waarmee gegevens uit het geheugen kunnen worden gelezen en profiteert daardoor veel minder. Ook bij het genereren van afbeeldingen kan de winst variëren, afhankelijk van de gebruikte modellen en rekentaken.
Voor gamers levert de aanpassing geen hogere framerate op. De wijzigingen richten zich op specifieke AI- en matrixberekeningen en veranderen de gebruikelijke grafische prestaties niet. In theorie kan de hogere Tensor Core-doorvoer wel interessant zijn voor bepaalde AI-functies, maar er zijn nog geen overtuigende gegevens die aantonen dat bijvoorbeeld DLSS hierdoor daadwerkelijk sneller werkt.
Niet iedere videokaart wordt ondersteund. Er zijn werkende resultaten gemeld voor onder meer de RTX 2080 Ti, RTX 3060, RTX 3070, RTX 3080, RTX 3090, RTX 3090 Ti en RTX 4090. Voor andere modellen is ondersteuning experimenteel of nog niet getest. De RTX 50-serie op basis van de Blackwell-architectuur valt vooralsnog buiten het bereik van deze methode. Ook kunnen resultaten verschillen door de specifieke gpu, firmware, vermogenslimieten en driverconfiguratie.
De mod is bovendien niet zonder risico. Omdat de wijzigingen tijdens het opstarten van het systeem worden uitgevoerd, kunnen incompatibele configuraties ervoor zorgen dat een computer niet meer goed opstart of dat de gpu vastloopt. Sommige projectontwikkelaars waarschuwen daarnaast voor gegevensverlies en mogelijke hardwareschade. De tools zijn daarom vooral interessant voor ervaren gebruikers die hun systeem kunnen herstellen wanneer er iets misgaat.
De ontdekking kan oudere GeForce-kaarten aantrekkelijker maken voor gebruikers die lokaal AI-modellen draaien. Vooral modellen met 24 GB videogeheugen, zoals de RTX 3090 en RTX 4090, zijn daarvoor interessant. Het is nog onzeker of de ontwikkeling invloed heeft op de prijzen op de tweedehandsmarkt. De mod vergroot de bruikbare rekenkracht voor bepaalde taken, maar vervangt geen professionele AI-kaarten die daarnaast meer geheugen, bredere softwareondersteuning en andere functies kunnen bieden.
