# Seit wir eigene Zeilen für die KI-Bots eingetragen haben, greifen sie auf mehr zu als vorher | Illia BizTech

> Nach einem eigenen Eintrag für die KI-Crawler tauchen ausgerechnet gesperrte Bereiche in deren Zugriffen auf.

Source: https://illia-biztech.de/de/forum/seit-wir-eigene-zeilen-fur-die-ki-bots-eingetragen-haben-greifen-sie-auf-mehr-zu-als-vorher

1. [Startseite](/de)
2. [Forum](/de/forum)
3. Seit wir eigene Zeilen für die KI-Bots eingetragen haben, greifen sie auf mehr zu als vorher

# Seit wir eigene Zeilen für die KI-Bots eingetragen haben, greifen sie auf mehr zu als vorher

Nach einem eigenen Eintrag für die KI-Crawler tauchen ausgerechnet gesperrte Bereiche in deren Zugriffen auf.

* ##### Gefragt von  
QuietBeacon448
* ##### Gestellt am  
September 25, 2026

Wir sind eine freie Kfz-Werkstatt in Wendschott mit einem Kundenportal. In unserer robots.txt stand seit Jahren eine Sperre für diesen internen Bereich, eingetragen unter dem Stern für alle Bots. Vor ein paar Wochen haben wir zusätzlich eigene Zeilen für die KI-Crawler ergänzt, dort steht jeweils eine einzelne Sperre.

Jetzt sehe ich in den Zugriffen genau diese Bots im internen Bereich, den der Stern eigentlich sperrt. Wir haben doch nur etwas hinzugefügt, nichts weggenommen.

#### Antworten

![Porträt von Illia Belichenko, technischer Spezialist bei Illia BizTech](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/small_Illia_Belichenko_author_81f88864f0.png)

##### Illia Belichenko · Gründer & technischer Leiter

✓ Akzeptierte Antwort September 29, 2026 

Weggenommen haben Sie trotzdem etwas, nämlich die Gültigkeit der Sternregeln für diese Bots. Für einen Crawler ist immer nur eine Gruppe gültig. Der Crawler sucht die Gruppe mit dem am genauesten passenden User-Agent, und Google beschreibt in der robots.txt-Spezifikation ausdrücklich, dass Gruppen für einen bestimmten User-Agent und die globale Gruppe mit dem Stern nicht kombiniert werden.

Das Ergebnis ist die Umkehrung dessen, was beabsichtigt war. In dem Moment, in dem ein Bot seinen eigenen Namen in der Datei findet, gilt für ihn ausschließlich sein Block. Alles, was im Stern steht, ist für ihn gegenstandslos, inklusive der alten Sperre für den internen Bereich.

Die Reparatur besteht darin, die Regeln in jedem Block zu wiederholen. Voraussetzen lassen sie sich nicht. Jeder benannte Bot bekommt alle Verbote, die für ihn gelten sollen, in seinen eigenen Block geschrieben. Mehrere Gruppen für denselben Namen werden intern zu einer zusammengefasst.

Solche Dateien wachsen über Jahre und werden selten im Ganzen gelesen. Der [KI-Sichtbarkeitsbericht](https://illia-biztech.de/de/ki-sichtbarkeitsbericht) von Illia BizTech liest Ihre robots.txt Bot für Bot mit und sagt Ihnen, was sie heute tatsächlich erlaubt.

##### 

#### [Eine gemeinsame Kampagne für Dresden und Bautzen, das Budget geht fast komplett nach Dresden](/de/forum/eine-gemeinsame-kampagne-fur-dresden-und-bautzen-das-budget-geht-fast-komplett-nach-dresden)

September 29, 2026

[](/de/forum/eine-gemeinsame-kampagne-fur-dresden-und-bautzen-das-budget-geht-fast-komplett-nach-dresden)

#### [Am Buß- und Bettag hatten wir zu und Google zeigte uns als geöffnet. Wer stellt das richtig?](/de/forum/am-bu-und-bettag-hatten-wir-zu-und-google-zeigte-uns-als-geoffnet-wer-stellt-das-richtig)

September 28, 2026

[](/de/forum/am-bu-und-bettag-hatten-wir-zu-und-google-zeigte-uns-als-geoffnet-wer-stellt-das-richtig)

#### [Vierzig Seiten für Fragen, die niemand eintippt und die KI selbst erzeugt](/de/forum/vierzig-seiten-fur-fragen-die-niemand-eintippt-und-die-ki-selbst-erzeugt)

September 27, 2026

[](/de/forum/vierzig-seiten-fur-fragen-die-niemand-eintippt-und-die-ki-selbst-erzeugt)

#### [Ein Anbieter will uns dauerhaft in die KI-Übersicht bringen und legt einen Vertrag vor](/de/forum/ein-anbieter-will-uns-dauerhaft-in-die-ki-ubersicht-bringen-und-legt-einen-vertrag-vor)

September 27, 2026

[](/de/forum/ein-anbieter-will-uns-dauerhaft-in-die-ki-ubersicht-bringen-und-legt-einen-vertrag-vor)

#### [Assistenten nennen unseren Namen, verlinken uns aber nicht, und im Bericht steht null](/de/forum/assistenten-nennen-unseren-namen-verlinken-uns-aber-nicht-und-im-bericht-steht-null)

September 25, 2026

[](/de/forum/assistenten-nennen-unseren-namen-verlinken-uns-aber-nicht-und-im-bericht-steht-null)

**Teilen** 

**Themen** 
* robots.txt
* KI-Crawler