AI-crawlers
-
Cloudflare stuurt AI-crawlers het bos in
AI-bedrijven sturen massaal webcrawlers het internet op, om data te verzamelen voor het trainen van modellen of voor het vullen van hun zoekmachines. Voor de meeste websitebeheerders levert dit weinig tot geen voordeel op — sterker nog, het veroorzaakt vaak onnodige belasting van servers. Cloudflare heeft nu een oplossing ontwikkeld die standaard AI-crawlers blokkeert, én een alternatief biedt voor partijen die wel legitiem toegang willen... [meer]