KV Cache
-
Huawei: slimme cache moet AI efficiënter en goedkoper maken
De AI-trend zet door en systemen worden steeds intensiever gebruikt. Huawei stelt dat AI-toepassingen sneller en efficiënter kunnen draaien door een speciale cache toe te voegen. Vorige week hield Huawei zijn partnerconferentie. Net als op veel andere tech-evenementen stond kunstmatige intelligentie centraal. Volgens het bedrijf berekenen veel AI-systemen dezelfde vraag telkens opnieuw. Na een vraag worden de zogeheten tokens die nodig zijn... [meer]