Advertentie
De AI-trend zet door en systemen worden steeds intensiever gebruikt. Huawei stelt dat AI-toepassingen sneller en efficiënter kunnen draaien door een speciale cache toe te voegen.
Vorige week hield Huawei zijn partnerconferentie. Net als op veel andere tech-evenementen stond kunstmatige intelligentie centraal. Volgens het bedrijf berekenen veel AI-systemen dezelfde vraag telkens opnieuw. Na een vraag worden de zogeheten tokens die nodig zijn voor het antwoord niet bewaard; wordt de vraag later nog eens gesteld, dan moet het systeem die tokens opnieuw uitrekenen.
Christophe Batiard, CTO van Huawei Europe Enterprise Business, legt uit: “Een KV-cache zorgt voor betere samenhang tussen systemen. Je kunt daarmee ook kleinere GPU’s optimaal benutten. Het probleem is dat het GPU-geheugen te klein is om tokens te bewaren; ook het werkgeheugen van de server is vaak onvoldoende. Onze oplossing is om een tokencache te combineren met snelle netwerkopslag. Om dat proces goed te sturen, introduceren we een cachemanager waarmee je kunt bepalen welke tokens wel en welke niet bewaard moeten worden.”
Volgens Huawei werkt de oplossing samen met modellen als Llama, DeepSeek en Qwen. Ook zou het systeem te gebruiken zijn met software als vLLM, SGLang en TensorRT.
Voor organisaties die nog geen Huawei-opslag gebruiken, wijst het bedrijf op de OceanStor A800. Die totaaloplossing kan volgens Huawei direct dienen als KV-cache. Bedrijven die al Huawei-producten inzetten, kunnen een Data Engine Node toevoegen om KV-cachefunctionaliteit te integreren.