Cloudflare hat eine neue Funktion vorgestellt, mit der Kunden sämtliche KI-Bots mit einem Klick blockieren können. Dies soll den Schutz von Originalinhalten im Internet verbessern. Die Funktion steht allen Kunden zur Verfügung, einschließlich derjenigen im kostenlosen Tarif. Um die Funktion zu aktivieren, navigieren Nutzer zum Abschnitt "Security / Bots" im Cloudflare-Dashboard und klicken auf den Schalter "AI Scrapers and Crawlers".

KI-Bots, die zur Datensammlung für maschinelles Lernen und Inferenz verwendet werden, sollen sich dadurch effizient blockieren lassen. Mit dieser Maßnahme möchte Cloudflare auf die zunehmende Nutzung von Web-Scraping durch KI-Unternehmen reagieren, die nicht immer transparent vorgehen. Cloudflare analysiere und aktualisiere die Liste der blockierten Bots dabei kontinuierlich.

Laut dem Unternehmen gehören zu den am häufigsten auftretenden KI-Bots Bytespider, Amazonbot, ClaudeBot und GPTBot. Diese sammeln Daten für verschiedene Anwendungen wie Chatbots und Sprachassistenten. Bytespider führe die Liste sowohl bei der Anzahl der Anfragen als auch bei der Häufigkeit der Blockierungen an.

Cloudflare nutzt nach eigener Aussage globale Signale und maschinelles Lernen, um verdächtige Bot-Aktivitäten zu identifizieren und zu blockieren. KI-Bots, die sich als normale Webbrowser tarnen, würden durch Cloudflares Algorithmen erkannt und blockiert.

Kunden können zudem Vorfälle melden und erhalten Unterstützung bei der Verwaltung und Blockierung unerwünschter Bot-Aktivitäten. Diese Maßnahmen sollen dazu beitragen, die Kontrolle über Webinhalte zu behalten und eine sichere Internetumgebung für Content-Ersteller zu gewährleisten.