# Wie Sie robots.txt für GPTBot, ClaudeBot und PerplexityBot einrichten | Illia BizTech

> Anhand offizieller Dokumentation von OpenAI, Anthropic, Perplexity und Google erklären wir, was die einzelnen KI-Crawler tun und ob Sie sie in der robots.txt blockieren sollten.

Source: https://illia-biztech.de/de/blog/ki-crawler-robots-txt-erlauben

1. [Startseite](/de)
2. [Materialien](/de/blog)
3. GPTBot, ClaudeBot und PerplexityBot in der robots.txt. Erlauben oder blockieren

![Techniker prüft Serverzugriffsprotokolle auf mehreren Bildschirmen](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/medium_ki_crawler_robots_txt_erlauben_d862958530.png)

![Porträt von Illia Belichenko, technischer Spezialist bei Illia BizTech](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/small_Illia_Belichenko_author_81f88864f0.png) Von: Illia Belichenko November 10, 2026

# GPTBot, ClaudeBot und PerplexityBot in der robots.txt. Erlauben oder blockieren

GPTBot, ClaudeBot und PerplexityBot sind drei verschiedene Crawler von drei verschiedenen Unternehmen, und jedes Unternehmen betreibt zusätzlich eigene Bots fürs Modelltraining und für die Live-Suche. Eine einheitliche Antwort auf die Frage erlauben oder blockieren gibt es deshalb nicht, die Entscheidung hängt vom jeweiligen Bot ab.

## Was ist GPTBot und worin unterscheidet er sich von anderen OpenAI-Bots

OpenAI betreibt vier verschiedene Crawler, die in der [offiziellen Dokumentation](https://developers.openai.com/api/docs/bots) einzeln beschrieben sind. GPTBot sammelt Inhalte fürs Training generativer Modelle, OAI-SearchBot indexiert Seiten für die Suchergebnisse von ChatGPT, ChatGPT-User ruft eine Seite auf direkte Anfrage einer bestimmten Person auf, und OAI-AdsBot prüft die Sicherheit von Werbe-Landingpages.

Das Blockieren von GPTBot in der robots.txt entfernt eine Website nicht aus den Suchergebnissen von ChatGPT, dafür ist der separate OAI-SearchBot zuständig. Es bedeutet nur, dass zukünftige Inhalte der Website nicht in die Trainingsdaten künftiger OpenAI-Modelle einfließen.

## Sollten Sie ClaudeBot blockieren

Auch Anthropic trennt seine Crawler nach Aufgabe. Laut der [Anthropic-Hilfeseite](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler) sammelt ClaudeBot Daten fürs Modelltraining, Claude-User ruft eine Seite auf, wenn eine Nutzerin oder ein Nutzer von Claude selbst danach fragt, und Claude-SearchBot verbessert die Suchqualität innerhalb von Claude. Alle drei Bots halten sich an die Regeln der robots.txt.

Blockieren lohnt sich nur für den Bot, dessen konkrete Funktion ein Unternehmen nicht unterstützen möchte. Geht es darum, Inhalte nicht fürs Modelltraining freizugeben, aber in den Live-Antworten von Claude erreichbar zu bleiben, wird nur ClaudeBot gesperrt, Claude-User und Claude-SearchBot bleiben offen.

## Sollten Sie PerplexityBot in der robots.txt erlauben

PerplexityBot sammelt Seiten für den eigenen Index von Perplexity, Perplexity-User ruft eine Seite auf, sobald jemand danach fragt, beide Agenten beschreibt die [offizielle Dokumentation von Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers), die zusätzlich IP-Listen zur Überprüfung der Echtheit einer Anfrage bereitstellt. Beim Erlauben von PerplexityBot gibt es eine Besonderheit, die es bei GPTBot und ClaudeBot nicht gibt.

Im August 2025 warf Cloudflare Perplexity öffentlich vor, beim Versuch einer Blockierung über robots.txt weiterhin Daten abzurufen, getarnt als gewöhnlicher Browser mit gewechseltem User-Agent und wechselnden IP-Adressen, das beschreibt [Search Engine Journal](https://www.searchenginejournal.com/cloudflare-delists-and-blocks-perplexity-from-crawling-websites/552899/) im Detail. Perplexity bezeichnete die Vorwürfe von Cloudflare als Marketingaktion und bestritt, dass die genannten Bots überhaupt zum Unternehmen gehören. Der praktische Schluss daraus lautet, dass eine Regel in der robots.txt einen seriösen Bot formal stoppt, aber keinen hundertprozentigen Schutz vor einem Unternehmen garantiert, das bereits in einen solchen Konflikt verwickelt war.

## Was passiert wirklich, wenn Sie KI-Crawler blockieren

Die Folgen unterscheiden sich je nach Bot, und genau das sollte man nicht verwechseln. Das Blockieren von Google-Extended wirkt sich nicht auf die Präsenz einer Website in der normalen Google-Suche aus und ist kein Rankingsignal, das steht so in der [Crawler-Übersicht von Google](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers), weil dieses Token nur die Nutzung von Inhalten fürs Training von Gemini steuert.

Das Blockieren von CCBot verschließt den Zugang zum Datensatz von Common Crawl, mit dem viele Sprachmodelle trainiert wurden, auch offene Modelle, das beschreibt die [offizielle Seite von Common Crawl](https://commoncrawl.org/ccbot). Das Blockieren von Suchbots wie OAI-SearchBot oder PerplexityBot verwehrt diesem Crawler den direkten Zugriff auf die eigenen Seiten und verhindert, dass der Assistent sie direkt zitiert, schließt eine Erwähnung des Unternehmens damit aber nicht aus. Der Assistent kann trotzdem über Bewertungen, Verzeichnisse oder andere Websites, die er weiterhin crawlt, davon erfahren. Diese Entscheidung sollte deshalb bewusst getroffen werden und nicht standardmäßig.

## Worin unterscheidet sich ein KI-Crawler von einem gewöhnlichen Suchroboter

Ein gewöhnlicher Suchroboter wie Googlebot baut einen Index für die Anzeige einer Seite in den Ergebnissen auf und bringt der Website Traffic über einen Klick. Ein Crawler fürs Training wie GPTBot oder CCBot holt Text einmalig fürs Training eines Modells und bringt gar keinen direkten Traffic, ein Crawler für die Suche wie OAI-SearchBot oder PerplexityBot ähnelt in seiner Rolle eher einem gewöhnlichen Suchroboter, ruft eine Seite aber deutlich seltener auf.

Daraus ergibt sich eine unterschiedliche Entscheidungslogik. Einen Trainings-Crawler zu sperren, ergibt Sinn, wenn ein Unternehmen Inhalte nicht kostenlos hergeben möchte, einen Such-Crawler zu sperren ergibt nur dann Sinn, wenn ein Unternehmen bereit ist, in den Antworten des jeweiligen Assistenten gar nicht mehr vorzukommen.

## Wie Sie prüfen, welche Bots eine Website besuchen

Am zuverlässigsten ist ein Blick in die Zugriffsprotokolle des Servers oder Hostings, dort suchen Sie nach Zeilen mit User-Agent-Werten wie GPTBot, ClaudeBot, PerplexityBot, Google-Extended und CCBot. Danach lohnt sich eine Prüfung, ob der Bot echt ist. OpenAI, Anthropic und Perplexity veröffentlichen Listen offizieller IP-Adressen und empfehlen einen Abgleich per Reverse-DNS, das steht sowohl in der [Dokumentation von OpenAI](https://developers.openai.com/api/docs/bots) als auch in der [Dokumentation von Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers).

## Was Sie zuerst prüfen sollten

* Öffnen Sie die Zugriffsprotokolle des Hostings und suchen Sie nach User-Agent-Zeilen mit GPTBot, OAI-SearchBot, ClaudeBot, Claude-User, PerplexityBot, Google-Extended und CCBot
* Entscheiden Sie für jeden Bot einzeln, nicht mit einer pauschalen Regel Disallow: /
* Wenn Sie in den Antworten der Assistenten erscheinen möchten, lassen Sie die Such-Bots offen (OAI-SearchBot, Claude-SearchBot, PerplexityBot) und blockieren Sie bei Bedarf nur die Trainings-Bots (GPTBot, ClaudeBot, CCBot)
* Prüfen Sie ungewöhnlichen Traffic anhand der offiziellen IP-Listen, statt sich allein auf den User-Agent-Wert zu verlassen

**Teilen** 

[ ![Entwickler prüft strukturierte Daten einer Website in den Browser-Entwicklertools](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/medium_schema_markup_lokales_unternehmen_7a4925ced8.png) Vorheriger Beitrag Strukturierte Daten nach Schema.org für eine lokale Website. Was wirklich nötig ist](/de/blog/schema-markup-lokales-unternehmen) [ ![Entwickler bearbeitet die Textdatei llms.txt im Code einer Website auf dem Laptop](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/medium_llms_txt_kleines_unternehmen_bf0e7164f2.png) Nächster Beitrag Die Datei llms.txt auf der Website. Braucht sie ein kleines Unternehmen](/de/blog/llms-txt-kleines-unternehmen)

![Porträt von Illia Belichenko, technischer Spezialist bei Illia BizTech](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/small_Illia_Belichenko_author_81f88864f0.png)

##### Illia Belichenko

Illia verantwortet den technischen Teil von Illia BizTech: Entwicklung und Weiterentwicklung von Websites, Formulare, Integrationen, Automatisierungen und technischen Support. Er arbeitet daran, dass Website, Content, Werbung und interne Abläufe sinnvoll miteinander verbunden sind und keine unnötige manuelle Arbeit erzeugen.

##### Neueste Beiträge

[![Prüfung der Firmenregistrierung im deutschen Handelsregister auf einem Laptop](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/medium_handelsregister_impressum_agentur_pruefen_84f39c129a.png)](/de/blog/handelsregister-impressum-agentur-pruefen)

#### [Webagentur vor der Anzahlung prüfen: Handelsregister und Impressum](/de/blog/handelsregister-impressum-agentur-pruefen)

November 13, 2026

[](/de/blog/handelsregister-impressum-agentur-pruefen)

[![Person liest Google-Suchergebnisse mit einer KI-Übersicht auf dem Smartphone-Bildschirm](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/medium_google_ai_overviews_sichtbarkeit_edbe04f07f.png)](/de/blog/google-ai-overviews-sichtbarkeit)

#### [Was eine Website braucht, um in Googles AI Overviews zu erscheinen](/de/blog/google-ai-overviews-sichtbarkeit)

November 12, 2026

[](/de/blog/google-ai-overviews-sichtbarkeit)

[![Entwickler prüft strukturierte Daten einer Website in den Browser-Entwicklertools](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/medium_schema_markup_lokales_unternehmen_7a4925ced8.png)](/de/blog/schema-markup-lokales-unternehmen)

#### [Strukturierte Daten nach Schema.org für eine lokale Website. Was wirklich nötig ist](/de/blog/schema-markup-lokales-unternehmen)

November 11, 2026

[](/de/blog/schema-markup-lokales-unternehmen)

GPTBot und OAI-SearchBot von OpenAI erfüllen unterschiedliche Aufgaben, eine pauschale Disallow-Regel für alle KI-Bots gleichzeitig sperrt fast immer mehr, als ein Unternehmen eigentlich sperren möchte. Illia Belichenko richtet die robots.txt für Kundinnen und Kunden für jeden Bot einzeln ein, statt eine allgemeine Vorlage aus einem Forum zu übernehmen.

Illia BizTech erstellt und betreut Websites von Unternehmen in Deutschland auf Deutsch, Englisch, Russisch und Ukrainisch, von der ersten Version bis zur laufenden Pflege und der Arbeit an der Sichtbarkeit in Suchmaschinen. Ein monatlicher Tarif deckt Website, Werbung und Inhalte ab, der Umfang wird im Voraus abgestimmt und lässt sich zwischen den Bereichen verschieben, wenn sich die Prioritäten ändern. Domain, Hosting und Werbekonten bleiben auf das Unternehmen eingetragen, sodass die Arbeit auf dem bestehenden System fortgesetzt werden kann. Das passt besonders zu Unternehmen, die nach Deutschland ziehen oder den deutschsprachigen Markt erschließen wollen und ihre Aufgabe einmal erklären möchten.