# Мы прописали отдельные строки для ИИ-ботов, и они стали заходить туда, куда раньше не заходили | Illia BizTech

> Появился отдельный блок для ИИ-краулеров, и в их обращениях оказались как раз закрытые разделы.

Source: https://illia-biztech.de/ru/forum/seit-wir-eigene-zeilen-fur-die-ki-bots-eingetragen-haben-greifen-sie-auf-mehr-zu-als-vorher

1. [Главная](/ru)
2. [Форум](/ru/forum)
3. Мы прописали отдельные строки для ИИ-ботов, и они стали заходить туда, куда раньше не заходили

# Мы прописали отдельные строки для ИИ-ботов, и они стали заходить туда, куда раньше не заходили

Появился отдельный блок для ИИ-краулеров, и в их обращениях оказались как раз закрытые разделы.

* ##### Спросил(а)  
QuietBeacon448
* ##### Задан  
September 25, 2026

У нас независимая автомастерская в Вендшотте с личным кабинетом для клиентов. В robots.txt годами стояла блокировка этого внутреннего раздела, прописанная под звёздочкой для всех ботов. Пару недель назад мы добавили отдельные строки для ИИ-краулеров, в каждой по одной блокировке.

Теперь вижу в обращениях именно этих ботов во внутреннем разделе, который звёздочка вроде бы закрывает. Мы же только добавили, ничего не убирали.

#### Ответы

![Портрет Ильи Беличенко, технического специалиста Illia BizTech](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/small_Illia_Belichenko_author_81f88864f0.png)

##### Illia Belichenko · Основатель и технический руководитель

✓ Принятый ответ September 29, 2026 

Кое-что вы всё-таки убрали, а именно действие правил звёздочки для этих ботов. Для краулера действительна всегда только одна группа. Он ищет группу с наиболее точно подходящим user-agent, и спецификация robots.txt у Google прямо говорит, что группы для конкретного user-agent и глобальная группа со звёздочкой не объединяются.

Результат получается обратным задуманному. В тот момент, когда бот находит в файле собственное имя, для него действует исключительно его блок. Всё, что стоит под звёздочкой, для него не существует, включая старую блокировку внутреннего раздела.

Чинится это повторением правил в каждом блоке. Подразумевать их нельзя. Каждому названному боту все запреты, которые должны на него действовать, прописываются в его собственный блок. Несколько групп с одним и тем же именем система объединит в одну сама.

Такие файлы растут годами, и целиком их читают редко. Что ваша robots.txt разрешает сегодня на самом деле, бот за ботом, показывает [отчёт о видимости в ИИ](https://illia-biztech.de/ru/ki-sichtbarkeitsbericht) от Illia BizTech.

##### 

#### [Общая кампания на Dresden и Bautzen, бюджет уходит почти целиком в Dresden](/ru/forum/eine-gemeinsame-kampagne-fur-dresden-und-bautzen-das-budget-geht-fast-komplett-nach-dresden)

September 29, 2026

[](/ru/forum/eine-gemeinsame-kampagne-fur-dresden-und-bautzen-das-budget-geht-fast-komplett-nach-dresden)

#### [На Buß- und Bettag мы были закрыты, а Google показывал нас открытыми. Кто это исправляет?](/ru/forum/am-bu-und-bettag-hatten-wir-zu-und-google-zeigte-uns-als-geoffnet-wer-stellt-das-richtig)

September 28, 2026

[](/ru/forum/am-bu-und-bettag-hatten-wir-zu-und-google-zeigte-uns-als-geoffnet-wer-stellt-das-richtig)

#### [Сорок страниц под вопросы, которых никто не набирает и которые ИИ порождает сам](/ru/forum/vierzig-seiten-fur-fragen-die-niemand-eintippt-und-die-ki-selbst-erzeugt)

September 27, 2026

[](/ru/forum/vierzig-seiten-fur-fragen-die-niemand-eintippt-und-die-ki-selbst-erzeugt)

#### [Подрядчик обещает поставить нас в ИИ-обзор навсегда и приносит договор](/ru/forum/ein-anbieter-will-uns-dauerhaft-in-die-ki-ubersicht-bringen-und-legt-einen-vertrag-vor)

September 27, 2026

[](/ru/forum/ein-anbieter-will-uns-dauerhaft-in-die-ki-ubersicht-bringen-und-legt-einen-vertrag-vor)

#### [Ассистенты называют нас без ссылки, и в отчёте у нас ноль](/ru/forum/assistenten-nennen-unseren-namen-verlinken-uns-aber-nicht-und-im-bericht-steht-null)

September 25, 2026

[](/ru/forum/assistenten-nennen-unseren-namen-verlinken-uns-aber-nicht-und-im-bericht-steht-null)

**Поделиться** 

**Темы** 
* robots.txt
* ИИ-краулеры