Advertentie
Voor de meeste bedrijven betekent het gebruik van een AI-model nog altijd dat een verzoek naar een clouddienst wordt gestuurd. Het gemak is duidelijk: er hoeft geen model te worden geïnstalleerd, geen GPU te worden geconfigureerd en geen infrastructuur te worden onderhouden. Maar datzelfde model wordt minder aantrekkelijk wanneer de te verwerken informatie vertrouwelijk, streng gereguleerd of simpelweg te omvangrijk is om efficiënt naar een andere omgeving te verplaatsen.
Lokale AI verandert die afweging. Modellen kunnen lokaal draaien, ook op bepaalde geavanceerde NAS-systemen waarvan de hardware lokale inferentie ondersteunt, via geïntegreerde mogelijkheden of via ondersteunde GPU-uitbreiding. In sommige implementaties kunnen gegevens ook via externe AI-platformen worden verwerkt in geanonimiseerde of anderszins beschermde vorm. Zo profiteren organisaties van externe modellen, terwijl de blootstelling van gevoelige informatie beperkt blijft.
Door: William Eudes
Technical Support Director at Synology
Deze bijdrage is afkomstig van Synology
De technologie is bovendien breder dan de grote taalmodellen die tot nu toe het gesprek domineren. Lokale AI kan tekst uit gescande documenten halen, opnames transcriberen, afbeeldingen analyseren en semantische indexen creëren die het doorzoeken van grote verzamelingen bestanden eenvoudiger maken.
Van Qwen naar Gemma
Er bestaat inmiddels een omvangrijk ecosysteem van open-sourcemodellen die geschikt zijn voor lokale implementatie. Modelfamilies zoals Qwen, DeepSeek, Llama, Mistral, Gemma en Microsofts Phi bieden uiteenlopende combinaties van modelgrootte, mogelijkheden en hardwarevereisten. De juiste keuze hangt af van de beoogde workload, het vereiste prestatieniveau en de lokaal beschikbare resources.
De hardwarevereisten lopen sterk uiteen. Modellen met ongeveer 1 tot 8 miljard parameters zijn realistisch op relatief bescheiden lokale systemen, afhankelijk van kwantisering, geheugen en werklast. Bij modellen met 30 of 70 miljard parameters verandert dat beeld aanzienlijk, met veel hogere eisen aan RAM- of GPU-geheugen en een overeenkomstige impact op inferentiesnelheid en kosten.
Daardoor wordt modelselectie een praktische infrastructuurbeslissing, en niet alleen een AI-keuze. Een bedrijf dat een interne documentassistent ontwikkelt, heeft mogelijk weinig reden om een 70B-model in te zetten als een kleiner model al voldoende goede resultaten oplevert. Omgekeerd kan een veeleisende programmeer- of redeneertaak krachtigere hardware rechtvaardigen.
Hetzelfde geldt voor modellen die voor specifieke taken zijn ontworpen. Een embedding-model kan documenten weergeven op basis van hun betekenis. OCR-modellen halen tekst uit gescand materiaal, terwijl spraak-naar-tekstmodellen opnames omzetten in doorzoekbare transcripten. Modellen voor beeldbeschrijvingen kunnen visuele inhoud beschrijven en zo een extra laag doorzoekbare informatie toevoegen.
Zoekresultaten veranderen wanneer AI de inhoud begrijpt
Een gedeelde map met duizenden documenten is een eenvoudig voorbeeld. Conventioneel zoeken kan een bestand vinden dat een exact trefwoord bevat, maar geeft slechts beperkt inzicht in de werkelijke inhoud van dat document.
Semantisch zoeken benadert dat probleem anders. Een embedding-model zet inhoud om in vectoren die relaties tussen concepten weergeven. Een zoekopdracht naar “klachten van klanten over leveringsvertragingen” kan daardoor relevant materiaal vinden, ook als die exacte woorden nooit samen voorkomen.
Gebruikers kunnen bovendien in natuurlijke taal zoeken, in plaats van specifieke trefwoorden of de exacte formulering uit een document te moeten onthouden. Ze beschrijven in hun eigen woorden waarnaar ze op zoek zijn, terwijl het zoeksysteem zich richt op de betekenis achter de zoekopdracht.
Dezelfde aanpak kan ook worden gebruikt voor retrieval-augmented generation, oftewel RAG. Relevante bestanden worden opgehaald uit lokale opslag en als context aan een taalmodel aangeleverd. Medewerkers kunnen vervolgens vragen stellen over interne documentatie zonder de volledige documentrepository naar een externe AI-aanbieder te hoeven sturen.
Voor organisaties met jarenlang verzamelde informatie kan dit een bestaande opslagomgeving aanzienlijk waardevoller maken. AI helpt medewerkers informatie te vinden en te gebruiken die al in hun opslagsystemen staat, vaak in formaten die met conventionele zoekmethoden moeilijk te verwerken zijn.
Oude bestanden een tweede leven geven
Veel informatie die organisaties bewaren, is nooit in doorzoekbare vorm aangemaakt. Een gescande factuur kan bijvoorbeeld belangrijke informatie bevatten zonder dat de tekst machinaal leesbaar is. Ook foto’s en opgenomen presentaties kunnen nuttige informatie bevatten die handmatig moeilijk te achterhalen is.
Lokale OCR kan gescande documenten omzetten in doorzoekbare tekst. Spraak-naar-tekst kan opnames indexeren, terwijl beeldanalyse beschrijvingen kan toevoegen aan foto’s en andere visuele bestanden. Deze processen kunnen worden uitgevoerd op bestanden die al lokaal zijn opgeslagen, zonder dat er een kopie hoeft te worden gemaakt in een cloudgebaseerde AI-service.
Neem een productiebedrijf met duizenden foto’s van producten, onderdelen of productieprocessen. Productserienummers staan mogelijk alleen op die foto’s, waardoor het extreem lastig is om handmatig elke afbeelding met een specifiek serienummer terug te vinden. Met AI-gebaseerde beeldherkenning en OCR kan het bedrijf direct op het serienummer zoeken en binnen enkele minuten de relevante afbeeldingen en bijbehorende informatie ophalen.
Dit creëert ook kansen voor mediagerichte organisaties. Een marketingteam kan bijvoorbeeld in een lokaal beeldarchief zoeken naar foto’s van een bepaalde setting of een specifiek object. Een bedrijf kan een fragment van een opgenomen vergadering terugvinden door te zoeken op het besproken onderwerp, in plaats van op de naam van het videobestand.
De beveiligingsvraag verschuift naar de index
Het lokaal uitvoeren van AI-verwerking maakt een omgeving niet automatisch veiliger. Het verandert echter wel de locatie van de beveiligingsgrens.
Eén aspect verdient bijzondere aandacht: de AI-index zelf.
Een semantische index is ontworpen om de inhoud van de bestanden die hij verwerkt weer te geven. Als een organisatie haar brondocumenten beschermt, maar de resulterende index onvoldoende beveiligt, kan die index een nieuwe toegangsweg tot gevoelige informatie vormen. Toegangscontroles moeten daarom zowel op de geïndexeerde gegevens als op de originele bestanden van toepassing zijn.
Versleuteling van gegevens in rust is daarbij relevant. Als een NAS zowel de brongegevens als de AI-indexen bevat, kan versleuteling van opgeslagen informatie helpen om die data te beschermen wanneer de onderliggende opslag wordt verwijderd of buiten de beoogde omgeving wordt benaderd. Hetzelfde toegangsrechtenmodel moet bepalen welke gebruikers via een AI-interface toegang hebben tot informatie.
In een omgeving met meerdere gebruikers is dit nog belangrijker dan op een persoonlijke laptop. Een lokale AI-service die is verbonden met gedeelde opslag moet gelijktijdige verzoeken kunnen verwerken en, belangrijker nog, de machtigingen respecteren die aan verschillende gebruikers en mappen zijn toegekend. Een medewerker mag informatie niet via een AI-query kunnen opvragen enkel omdat het model technisch toegang heeft tot de onderliggende bestanden.
Lokaal draaien brengt compromissen met zich mee
De voordelen van lokale AI zijn niet universeel. Clouddiensten hebben een belangrijk voordeel: ze bieden toegang tot de nieuwste en meest geavanceerde modellen. De aanbieders verzorgen modelupdates, schaalvergroting van de infrastructuur en een groot deel van de operationele complexiteit.
Een lokaal gehost model vraagt meer betrokkenheid van de organisatie. Modellen moeten worden geselecteerd, gedownload, bijgewerkt en getest. De hardware moet correct worden gedimensioneerd en de prestaties kunnen afnemen wanneer meerdere gebruikers tegelijk verzoeken indienen. De kennis van een model kan bovendien verouderen, tenzij het wordt vervangen of aangevuld met actuele organisatiegegevens via methoden zoals RAG.
Ook kosten spelen een rol. Zodra de hardware is aangeschaft, heeft lokale inferentie niet hetzelfde prijsmodel per token als een cloud-API, maar dat betekent niet dat het gratis is. Elektriciteit, opslag, GPU-capaciteit, onderhoud en IT-tijd brengen allemaal kosten met zich mee.
Daarom is het sterkste argument voor lokale AI doorgaans te vinden in situaties waarin organisaties al over de infrastructuur beschikken, de data gevoelig of omvangrijk is en de werklast frequent genoeg is om het zelf uitvoeren van modellen te rechtvaardigen.
Waar past lokale AI vandaag de dag?
Lokale en cloud-AI zullen waarschijnlijk naast elkaar blijven bestaan. Cloudplatforms blijven toegang bieden tot de krachtigste modellen, terwijl lokale infrastructuur duidelijke toepassingen heeft waar privacy, latentie, datavolume of voorspelbare toegang belangrijk zijn.
Voor organisaties die al over eigen opslaginfrastructuur beschikken, is AI een praktische uitbreiding van de bestaande dataomgeving. Een NAS kan de opslaglaag vormen voor documenten, afbeeldingen, video’s en andere bedrijfsgegevens, terwijl lokale AI-services functies zoals semantisch zoeken, OCR, transcriptie en beeldanalyse toevoegen.
Het resultaat is een AI-omgeving die is gebouwd rond de bestaande data van de organisatie, in plaats van dat die data voor elke taak naar een andere locatie moet worden verplaatst. Naarmate lokale AI-modellen geavanceerder worden en de hardwarevereisten beter beheersbaar zijn, wordt deze aanpak waarschijnlijk steeds relevanter voor bedrijven die meer uit hun bestaande data willen halen.
