# Как настроить robots.txt для GPTBot, ClaudeBot и PerplexityBot | Illia BizTech

> По официальной документации OpenAI, Anthropic, Perplexity и Google разбираем, какие ИИ-краулеры что делают и стоит ли их блокировать в robots.txt.

Source: https://illia-biztech.de/ru/blog/ki-crawler-robots-txt-erlauben

1. [Главная](/ru)
2. [Материалы](/ru/blog)
3. GPTBot, ClaudeBot и PerplexityBot в robots.txt. Пускать или закрывать

![Технический специалист проверяет журнал запросов серверов на нескольких мониторах](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/medium_ki_crawler_robots_txt_erlauben_d862958530.png)

![Портрет Ильи Беличенко, технического специалиста Illia BizTech](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/small_Illia_Belichenko_author_81f88864f0.png) Автор: Illia Belichenko November 10, 2026

# GPTBot, ClaudeBot и PerplexityBot в robots.txt. Пускать или закрывать

GPTBot, ClaudeBot и PerplexityBot представляют три разных краулера трёх разных компаний, и у каждой компании к тому же есть отдельные боты для обучения моделей и для живого поиска. Поэтому единого ответа разрешать или блокировать не существует, решение зависит от конкретного бота.

## Что такое GPTBot и чем он отличается от других ботов OpenAI

OpenAI ведёт четыре разных краулера, которые в [официальной документации](https://developers.openai.com/api/docs/bots) описаны отдельно. GPTBot собирает контент для обучения генеративных моделей, OAI-SearchBot индексирует страницы для показа в результатах поиска ChatGPT, ChatGPT-User обращается к странице по прямому запросу конкретного пользователя, а OAI-AdsBot проверяет безопасность рекламных посадочных страниц.

Блокировка GPTBot в robots.txt не убирает сайт из результатов поиска ChatGPT, за это отвечает отдельный OAI-SearchBot. Она означает только то, что будущий контент сайта не попадёт в обучающие данные следующих моделей OpenAI.

## Нужно ли блокировать ClaudeBot

Anthropic тоже разделяет краулеры по задачам. Согласно [справке Anthropic](https://support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler), ClaudeBot собирает данные для обучения моделей, Claude-User обращается к странице, когда пользователь Claude сам задал вопрос про неё, а Claude-SearchBot улучшает качество поиска внутри Claude. Все три бота соблюдают правила robots.txt.

Блокировать стоит только тот бот, чью конкретную функцию компания не хочет поддерживать. Если цель не отдавать контент на обучение моделей, но оставаться доступным в живых ответах Claude, закрывают только ClaudeBot, а Claude-User и Claude-SearchBot оставляют открытыми.

## Разрешать ли PerplexityBot в robots.txt

PerplexityBot собирает страницы для собственного индекса Perplexity, а Perplexity-User обращается к странице в момент, когда пользователь задал вопрос про неё, оба агента описаны в [официальной документации Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers), которая также даёт списки IP-адресов для проверки подлинности запроса. С разрешением PerplexityBot есть особенность, которой нет у GPTBot и ClaudeBot.

В августе 2025 года Cloudflare публично обвинила Perplexity в том, что при попытке заблокировать её краулера через robots.txt компания продолжала получать данные, маскируясь под обычный браузер и меняя user agent и IP-адреса, это подробно разбирает [Search Engine Journal](https://www.searchenginejournal.com/cloudflare-delists-and-blocks-perplexity-from-crawling-websites/552899/). Perplexity назвала обвинения Cloudflare рекламным ходом и отрицала, что боты, о которых шла речь, вообще принадлежат ей. Из этого стоит сделать практический вывод. Правило в robots.txt формально останавливает добросовестного бота, но не гарантирует стопроцентную защиту от компании, у которой уже был подобный конфликт.

## Что реально произойдёт, если заблокировать ИИ-краулеров

Последствия разные для разных ботов, и здесь важно не путать их между собой. Блокировка Google-Extended не влияет на присутствие сайта в обычном поиске Google и не является сигналом ранжирования, это прямо указано в [обзоре краулеров Google](https://developers.google.com/crawling/docs/crawlers-fetchers/overview-google-crawlers), потому что этот токен управляет только использованием контента для обучения Gemini.

Блокировка CCBot закрывает доступ к датасету Common Crawl, на котором тренировались многие языковые модели, включая открытые, это описано на [официальной странице Common Crawl](https://commoncrawl.org/ccbot). Блокировка поисковых ботов вроде OAI-SearchBot или PerplexityBot закрывает для этого краулера прямой доступ к страницам сайта и мешает ассистенту цитировать их напрямую, но не исключает упоминание компании. Ассистент может узнать о ней из отзывов, каталогов и других сайтов, которые он всё же обходит. Поэтому такое решение стоит принимать осознанно, а не по умолчанию.

## Чем ИИ-краулер отличается от обычного поискового робота

Обычный поисковый робот вроде Googlebot строит индекс для показа страницы в выдаче и приводит на сайт трафик через клик. Краулер для обучения моделей, такой как GPTBot или CCBot, забирает текст один раз для тренировки модели и не приводит прямого трафика на сайт вообще, а краулер для поиска, такой как OAI-SearchBot или PerplexityBot, ближе по роли к обычному поисковому роботу, но обращается к странице значительно реже.

Из этого следует разная логика решений. Закрывать краулер для обучения имеет смысл, если бизнес не хочет отдавать контент бесплатно, а закрывать краулер для поиска имеет смысл, только если бизнес готов вообще не появляться в ответах соответствующего ассистента.

## Как проверить, какие боты заходят на сайт

Самый надёжный способ заключается в том, чтобы смотреть access-логи сервера или хостинга и искать в них строки User-Agent вроде GPTBot, ClaudeBot, PerplexityBot, Google-Extended и CCBot. Дальше стоит проверить, что бот не подделан. OpenAI, Anthropic и Perplexity публикуют списки официальных IP-адресов и рекомендуют сверять их через reverse DNS, это указано и в [документации OpenAI](https://developers.openai.com/api/docs/bots), и в [документации Perplexity](https://docs.perplexity.ai/docs/resources/perplexity-crawlers).

## Что сделать в первую очередь

* Открыть access-логи хостинга и найти строки с User-Agent GPTBot, OAI-SearchBot, ClaudeBot, Claude-User, PerplexityBot, Google-Extended и CCBot
* Решить отдельно по каждому боту, а не одним общим правилом Disallow: /
* Если цель попадать в ответы ассистентов, оставить открытыми поисковые боты (OAI-SearchBot, Claude-SearchBot, PerplexityBot) и при желании закрыть только тренировочные (GPTBot, ClaudeBot, CCBot)
* Проверить подлинность нестандартного трафика через официальные IP-списки, а не доверять только строке User-Agent

**Поделиться** 

[ ![Разработчик проверяет структурированные данные сайта в панели инструментов браузера](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/medium_schema_markup_lokales_unternehmen_7a4925ced8.png) Предыдущий пост Структурированные данные Schema.org для локального сайта. Что реально нужно](/ru/blog/schema-markup-lokales-unternehmen) [ ![Разработчик редактирует текстовый файл llms.txt в коде сайта на экране ноутбука](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/medium_llms_txt_kleines_unternehmen_bf0e7164f2.png) Следующий пост Файл llms.txt на сайте. Нужен ли он малому бизнесу](/ru/blog/llms-txt-kleines-unternehmen)

![Портрет Ильи Беличенко, технического специалиста Illia BizTech](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/small_Illia_Belichenko_author_81f88864f0.png)

##### Illia Belichenko

Illia отвечает за техническую часть Illia BizTech: разработку и доработку сайтов, формы, интеграции, автоматизацию и техническую поддержку. Работает над тем, чтобы сайт, контент, реклама и рабочие процессы были связаны между собой и не создавали лишней ручной работы.

##### Последние посты

[![Проверка регистрации компании в немецком Handelsregister на экране ноутбука](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/medium_handelsregister_impressum_agentur_pruefen_84f39c129a.png)](/ru/blog/handelsregister-impressum-agentur-pruefen)

#### [Как проверить веб-студию перед предоплатой: Handelsregister и Impressum](/ru/blog/handelsregister-impressum-agentur-pruefen)

November 13, 2026

[](/ru/blog/handelsregister-impressum-agentur-pruefen)

[![Человек читает результаты поиска Google с ИИ-обзором на экране смартфона](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/medium_google_ai_overviews_sichtbarkeit_edbe04f07f.png)](/ru/blog/google-ai-overviews-sichtbarkeit)

#### [Что нужно сайту, чтобы попасть в AI Overviews Google](/ru/blog/google-ai-overviews-sichtbarkeit)

November 12, 2026

[](/ru/blog/google-ai-overviews-sichtbarkeit)

[![Разработчик проверяет структурированные данные сайта в панели инструментов браузера](/_ipx/f_webp,q_75/https://cms.illia-biztech.de/uploads/medium_schema_markup_lokales_unternehmen_7a4925ced8.png)](/ru/blog/schema-markup-lokales-unternehmen)

#### [Структурированные данные Schema.org для локального сайта. Что реально нужно](/ru/blog/schema-markup-lokales-unternehmen)

November 11, 2026

[](/ru/blog/schema-markup-lokales-unternehmen)

GPTBot и OAI-SearchBot от OpenAI выполняют разные задачи, и одно правило Disallow для всех ИИ-ботов сразу почти всегда закрывает больше, чем компания на самом деле хочет закрыть. Illia Belichenko настраивает robots.txt клиентам отдельно под каждого бота, а не копирует один общий шаблон с форумов.

Illia BizTech делает и ведёт сайты компаний в Германии на русском, немецком, английском и украинском языках, от первой версии до постоянной поддержки и работы над видимостью в поиске. Один месячный тариф закрывает сайт, рекламу и контент, объём согласуется заранее, и его можно перераспределить между направлениями, когда меняются приоритеты. Домен, хостинг и рекламные кабинеты остаются оформленными на компанию, поэтому работу можно продолжить на существующей системе без полной замены. Это удобно бизнесу, который переезжает в Германию или расширяется на немецкоязычный рынок и хочет объяснить задачу один раз.