Welche Webseiten KI-Bots blockieren

- GPTBot ist der am häufigsten blockierte AI-Bot
- Große Medienmarken blockieren AI-Bots als Teil von Verhandlungsstrategien
- Hohe Domain-Authority-Sites blockieren AI-Bots häufiger als andere

Im digitalen Marketing sind AI-Bots ein heiß diskutiertes Thema. Während SEO-Experten die Sichtbarkeit in den Ergebnissen von Large Language Models (LLMs) für wichtig halten, blockieren viele große Medienunternehmen diese Bots. Bekannte Verlage wie Financial Times, Axel Springer und News Corp. blockieren AI-Bots wie GPTBot und Google-Extended, oft als Verhandlungsstrategie mit Unternehmen wie OpenAI.

Technische Umsetzung der Blockierung
Die Blockierung von AI-Bots erfolgt meist über die robots.txt-Datei, obwohl dies keine gesetzliche Grundlage hat, sondern eine Internetnorm darstellt. GPTBot ist der am häufigsten blockierte Bot, gefolgt von Common Crawl's CCBot, trotz dessen gemeinnützigem Zweck. Diese Maßnahmen spiegeln das Bestreben wider, die Kontrolle über die eigenen Inhalte zu behalten und die Monetarisierung zu schützen.

Auswirkungen auf Websites mit hoher Domain-Autorität
Daten zeigen, dass Websites mit hoher Domain-Autorität (DA) eher dazu neigen, AI-Bots zu blockieren. Diese Sites sind oft in der Lage, durch ihre starke Position in Suchergebnissen Druck auszuüben. Das Blockieren von AI-Bots schützt nicht nur die Inhalte, sondern kann auch als Hebel in Verhandlungen mit AI-Unternehmen dienen.

Überlegungen für kleinere Websites
Die Entscheidung, AI-Bots zu blockieren, sollte gut überlegt sein. Während große Verlage dies als Verhandlungsinstrument nutzen, könnten kleinere Websites von der Präsenz in AI-generierten Inhalten profitieren. Letztlich hängt die Entscheidung von der individuellen Strategie und den Zielen der Marke ab.