Advertentie
Nvidia en Microsoft hebben samengewerkt om het gebruik van RTX-hardware voor AI-toepassingen te vereenvoudigen in Windows. TensorRT for RTX wordt namelijk native ondersteund door Windows ML, een nieuwe inferentiestack die ontwikkelaars brede compatibiliteit moet bieden op het gebied van hardware. Er volgen verschillende andere aankondigingen op het gebied van software.
Snellere AI-inferentie met TensorRT for RTX
Bij het maken van AI-toepassingen moeten ontwikkelaars vaak een lastige keuze maken: kiezen voor een framework met brede ondersteuning voor hardware maar met lagere prestaties, of betere prestaties maar met beperkte ondersteuning. Windows ML moet hier een antwoord op bieden.
Het inferentie-framework is gebaseerd op ONNYX Runtime en gebruikt een AI-executielaag die per fabrikant is afgestemd op de hardware. In het geval van GeForce RTX-gpu's kiest Windows ML automatisch TensorRT for RTX, dat ten opzichte van DirectML een prestatie-uplift van meer dan 50% moet mogelijk maken in AI-workloads.
Nvidia merkt op dat het TensorRT heeft herontworpen: de nieuwe variant gebruikt just-in-time, lokale engine-building om vliegensvlug te bepalen hoe het AI-model zo optimaal mogelijk kan worden gedraaid, volgens de wensen van de gebruiker. Daarnaast is de bestandsgrootte van de library dankzij optimalisaties met factor acht verkleind. TensorRT for RTX is nu beschikbaar voor ontwikkelaars via de previewversie van Windows ML. De standalone sdk volgt in juni.
Breder AI-ecosysteem voor Windows-PC's
Ontwikkelaars die AI-functies willen toevoegen aan hun apps of de prestaties daarvan willen verbeteren, kunnen momenteel een breed scala aan Nvidia-sdk's gebruiken: Cuda, TensorRT, DLSS, Optix, RTX Video, Maxine, Riva, Nemotron en ACE. Verschillende bekende toepassingen gaan hun programma's deze maand nog updaten om features op basis van deze sdk's toe te voegen.
Zo werkt Topaz aan een Cuda-gebaseerd generatief AI-videomodel om de beeldkwaliteit te verbeteren. Chaos Enscape en Autodesk VRED gaan DLSS 4 toevoegen voor meer prestaties en beter beeld. Bilibili Livehime-streamers kunnen binnenkort dan weer aan de slag met Nvidia Virtual Background.