Advertentie
AI-bedrijven sturen massaal webcrawlers het internet op, om data te verzamelen voor het trainen van modellen of voor het vullen van hun zoekmachines. Voor de meeste websitebeheerders levert dit weinig tot geen voordeel op — sterker nog, het veroorzaakt vaak onnodige belasting van servers. Cloudflare heeft nu een oplossing ontwikkeld die standaard AI-crawlers blokkeert, én een alternatief biedt voor partijen die wel legitiem toegang willen tot je content.
Cloudflare bood al langer de mogelijkheid om AI-crawlers te weren, maar deze optie stond standaard uit. Dat is nu veranderd: als je een nieuw domein toevoegt aan Cloudflare, worden AI-crawlers automatisch geblokkeerd. Daarnaast heeft Cloudflare een ingenieus AI-labyrint bedacht — een soort digitale dwaaltuin die crawlers lokt naar nutteloze informatie in een ‘honeypot’, terwijl ze de echte inhoud van je website niet kunnen bereiken.
Eerder dit jaar presenteerde een ontwikkelaar een vergelijkbare oplossing onder de naam Nepenthes. Deze tool fungeert als een soort valkuil voor crawlers: ze blijven eindeloos rondzoeken, maar vinden niets bruikbaars. Waarom al die moeite om bots te blokkeren? Omdat sommige AI-crawlers websites zó intensief benaderen, dat servers er daadwerkelijk door overbelast raken en zelfs crashen.
Volgens Cloudflare moet het besluit of AI-crawlers toegang krijgen tot een site, volledig bij de websitebeheerder liggen. In een bedrijfsstatement stelt het bedrijf: "Of AI-crawlers überhaupt toegang krijgen, en zo ja, onder welke voorwaarden ze die content mogen gebruiken, moet geen automatisme zijn." AI-modellen worden namelijk vaak getraind op data zonder dat makers dat weten, laat staan dat ze daarvoor worden gecompenseerd.
“Originele content is wat het internet tot een van de beste uitvindingen ooit maakt,” aldus Matthew Prince, medeoprichter en CEO van Cloudflare. “Daarom is het belangrijk dat contentmakers blijven maken — en beschermd worden.”
Alternatief: laat AI-bedrijven betalen
In een recent blogbericht kondigt Cloudflare ook een bèta-programma aan waarmee websitebeheerders AI-crawlers toegang kunnen verlenen tegen betaling. Het systeem biedt dus zowel bescherming als controle: je kunt crawlers volledig weren, of juist toegang geven onder jouw voorwaarden.
Als je kiest voor betaald toegang, kun je per crawler een tarief instellen. Is een AI-partij bereid om dat bedrag te betalen, dan krijgt de crawler toegang. Zo niet, dan ontvangt deze een HTTP 402-foutmelding: Payment Required. Crawlerdiensten kunnen op hun beurt ook een maximaal bedrag instellen dat ze per site willen uitgeven. Valt jouw prijs binnen dat budget, dan krijgen ze automatisch toegang — anders niet.
Hoewel dit systeem nog in een vroeg stadium verkeert, hoopt Cloudflare het verder uit te breiden. En wie weet volgen andere providers snel. Het zou zomaar de eerste stap kunnen zijn richting een eerlijker web, waarin contentmakers zeggenschap én compensatie krijgen.