AI · Индексация
Проверка доступа поисковых и AI-ботов к сайту
Посмотрите на страницу глазами краулера: пускает ли её ваш сайт. Chexter повторяет запрос от имени Googlebot, YandexBot, Bingbot, GPTBot, ClaudeBot, PerplexityBot и ещё полутора десятков ботов, затем сверяет ответ сервера с robots.txt, meta robots и X-Robots-Tag. В отчёте — матрица: кто видит контент, а кто получает отказ.
Проверяем доступ...
Загружаем robots.txt и HTTP-заголовки...
Лимит запросов
Вы достигли лимита проверок. Повторите через:
проверяется
краулеров
проверки
доступа
Зачем это проверять
Поисковые и AI-системы используют разные краулеры. Один бот отвечает за классическую индексацию, другой — за поиск внутри AI-ответов, третий — за обучение моделей.
Из-за одной строки в robots.txt сайт может быть открыт для Google, но закрыт для ChatGPT Search или Claude. Или наоборот: сайт закрыт от поиска, но открыт для AI-обучения. Bot Access Checker показывает все конфликты в одном отчёте.
Инструмент покажет
- ✓Какие боты имеют доступ — и какие заблокированы
- ✓Где robots.txt, meta robots или X-Robots-Tag создают конфликт
- ✓Открыт ли контент для AI-поиска или только для AI-обучения
- ✓Есть ли CDN/WAF, который режет ботов незаметно для владельца
- ✓Что именно нужно изменить в robots.txt или заголовках
Какие сценарии находит Chexter
Самые частые проблемы с доступом ботов — все они невидимы для браузера
Сайт случайно закрыт от Google / Яндекса
После разработки, редизайна или переезда в robots.txt мог остаться Disallow: /. Пользователи сайт видят — поисковики нет.
AI-боты не видят коммерческие страницы
Страница не попадает в ChatGPT Search, Claude или Perplexity-ответы. Причина: блокировка OAI-SearchBot или Claude-SearchBot в robots.txt.
Контент открыт для AI-обучения без вашего ведома
Особенно важно для медиа, баз знаний, платного контента и авторских статей. GPTBot или ClaudeBot могут обходить сайт, если явного запрета нет.
robots.txt разрешает обход, но meta robots закрывает индексацию
Классический конфликт: краулер может зайти, но не может индексировать страницу из-за noindex. Сложно заметить без матрицы доступа.
CDN / WAF режет ботов незаметно
Для пользователя страница открывается нормально, а бот получает 403, 429 или challenge-страницу. Сайт теряет трафик без видимых причин.
Bot Access Checker
Кто из 15+ ботов видит вашу страницу?
Матрица доступа: Googlebot, ChatGPT, Claude, Perplexity и другие краулеры — за ~5 секунд
Без регистрации · отчёт хранится 5 дней
Что именно проверяет Bot Access Checker
Комплексный анализ всех уровней управления доступом — от robots.txt до HTTP-заголовков
| Проверка | Что покажет |
|---|---|
| HTTP-статус страницы | Доступна ли страница для конкретного бота: 200, 301, 403, 404, 429 |
| robots.txt | Есть ли Allow / Disallow для конкретного user-agent и какая строка сработала |
| Meta Robots | Нет ли noindex, nofollow, none, nosnippet, noimageindex в HTML |
| X-Robots-Tag | Нет ли запрета в HTTP-заголовках (работает для PDF, изображений, API-ответов) |
| CDN / WAF-реакция | Не блокирует ли защита сайта поисковых и AI-ботов по user-agent |
| Конфликты правил | Например: robots открыт, но meta robots закрывает индексацию — или наоборот |
| AI-боты по группам | Видно, кто отвечает за AI-поиск, кто за обучение моделей, кто за user-triggered fetch |
Важно: noindex в robots.txt не является надёжным способом управления индексированием для Google — Google рекомендует использовать meta robots или X-Robots-Tag. Chexter проверяет все эти слои одновременно.
Кого проверяем
Поисковые системы, AI-поиск, AI-обучение и пользовательские запросы — в одном отчёте
Поисковые системы
-
Googlebot -
Googlebot Smartphone -
Bingbot -
YandexBot
AI-поиск и AI-ответы
-
OAI-SearchBot -
Claude-SearchBot -
PerplexityBot
AI-обучение
-
GPTBot -
ClaudeBot -
Google-Extended -
CCBot
User-triggered fetch
-
ChatGPT-User -
Claude-User
Список краулеров будет расширяться по мере появления новых AI-систем и поисковых ботов.
Поисковые боты, AI-поиск и AI-обучение — в чём разница
Разные краулеры управляются независимо — одной строкой robots.txt можно решить или создать серьёзную проблему
Поисковые краулеры
Googlebot · Bingbot · YandexBot · Googlebot Smartphone
Отвечают за обход и индексацию страниц в классических поисковых системах. Блокировка этих ботов напрямую влияет на видимость сайта в Google, Яндексе и Bing.
→Обычно должны быть открыты для коммерческих страниц, блогов и каталогов.
AI-поиск — для появления в AI-ответах
OAI-SearchBot · Claude-SearchBot · PerplexityBot
Эти боты определяют, появляется ли сайт в поисковых ответах ChatGPT, Claude и Perplexity. Независимы от training-краулеров: можно разрешить OAI-SearchBot и одновременно закрыть GPTBot.
→Если хотите попадать в AI-ответы — разрешите эти боты явно.
AI-обучение — для обучения языковых моделей
GPTBot · ClaudeBot · Google-Extended · CCBot
Используются для сбора контента с целью обучения языковых моделей. Google-Extended — robots.txt token для управления использованием контента в Gemini и Vertex AI; не влияет на ранжирование в Google Search.
→Для авторского контента, медиа и платных материалов — стоит управлять явно.
User-triggered fetch — по запросу пользователя
ChatGPT-User · Claude-User
Срабатывают, когда пользователь ChatGPT или Claude просит проанализировать конкретную страницу. Поведение отличается от поискового обхода — страница загружается в момент запроса.
→Обычно не требуют отдельных правил, но стоит учитывать при настройке.
Опасные конфликты в правилах доступа
Эти ситуации Chexter находит и объясняет в отчёте
| Конфликт | Проблема | Риск |
|---|---|---|
| robots.txt открыт, но meta robots = noindex | Краулер может зайти, но не индексировать страницу | SEO |
| Googlebot открыт, OAI-SearchBot заблокирован | Сайт есть в Google, но не в ChatGPT Search | AI-видимость |
| GPTBot открыт без явного разрешения | Контент может использоваться для обучения моделей | Приватность |
| X-Robots-Tag: noindex в HTTP-заголовке | Страница недоступна для индексации, не видно в robots.txt | SEO |
| CDN возвращает 403 для bot user-agent | Бот видит ошибку, хотя страница для людей работает | SEO / AI |
| Disallow: / с dev/staging не удалён | Весь сайт закрыт от обхода — иногда незаметно для команды | Критический |
| Конфликт Allow / Disallow для одного пути | Разные краулеры могут интерпретировать правило по-разному | Неоднозначность |
Как читать результат
Пять статусов матрицы доступа и что они означают
✅
Разрешён
Бот может получить доступ к странице. robots.txt, meta robots и HTTP-ответ не препятствуют обходу.
⛔
Заблокирован
robots.txt, meta robots, X-Robots-Tag или HTTP-ответ ограничивают доступ для этого бота.
⚠️
Не указан
Для бота нет отдельного правила. Применяется общий User-agent: *. Поведение зависит от настроек.
⚠️
Конфликт
Одни правила разрешают доступ, другие закрывают индексацию. Нужно явное исправление.
❌
Ошибка проверки
Страница не ответила, редирект сломан или сервер вернул неожиданную ошибку.
Три сценария настройки доступа
Bot Access Checker показывает, к какому сценарию близок ваш сайт — и что нужно изменить
01
Максимальная SEO и AI-видимость
Коммерческие сайты · Блоги · SaaS · Каталоги
Разрешить поисковые краулеры и AI-search боты, чтобы страницы попадали в классический поиск и AI-ответы ChatGPT, Claude, Perplexity.
- →Googlebot, Bingbot, YandexBot — открыты
- →OAI-SearchBot, Claude-SearchBot — открыты
- →GPTBot, ClaudeBot — по усмотрению
02
SEO открыт, AI-обучение закрыто
Медиа · Экспертные блоги · Авторский контент
Оставить Google / Яндекс / Bing открытыми, но ограничить training-краулеры: GPTBot, ClaudeBot, CCBot, Google-Extended.
- →Googlebot, Bingbot, YandexBot — открыты
- →OAI-SearchBot, Claude-SearchBot — открыты
- →GPTBot, ClaudeBot, CCBot — закрыты
03
Закрытая зона
Staging · Личные кабинеты · Технические URL
Закрыть страницу от обхода и индексации, проверить отсутствие утечек через sitemap, canonical и внутренние ссылки.
- →Все боты — закрыты через robots.txt
- →noindex в meta robots или X-Robots-Tag
- →Проверка sitemap и canonical на утечки
Как работает проверка
Chexter проверяет каждый слой управления доступом последовательно
Chexter загружает целевую страницу — где возможно, с user-agent нужного бота, для остальных — анализирует robots.txt-правила и HTTP-заголовки.
Chexter запрашивает robots.txt, разбирает директивы и определяет, какое правило применяется к каждому краулеру. Указывается конкретная строка, которая сработала.
Анализируется HTTP-статус, финальный URL после редиректов, наличие CDN/WAF-блокировок по user-agent.
Проверяются все теги noindex, nofollow, nosnippet в HTML и HTTP-заголовках — включая X-Robots-Tag для PDF и API-ответов.
Chexter сопоставляет правила: если robots.txt разрешает доступ, а meta noindex закрывает индексацию — это конфликт, который попадает в отчёт.
Итоговая матрица: статус каждого бота, тип риска (SEO / AI-видимость / приватность), строка-источник правила и рекомендация по исправлению.
Примечание о методологии: Chexter проверяет доступность страницы для поисковых и AI-краулеров: где возможно — через HTTP-запрос с нужным user-agent, а для отдельных систем — через анализ robots.txt-правил, meta robots и X-Robots-Tag. Google-Extended не является отдельным HTTP user-agent — это robots.txt token для управления использованием контента в Gemini / Vertex AI, и Chexter обрабатывает его корректно.
Готовые рекомендации в отчёте
По каждому закрытому боту — причина отказа и следующий шаг
Для каждого заблокированного бота указывается конкретная директива, которая мешает доступу: строка robots.txt, meta-тег или HTTP-заголовок.
Chexter объясняет, что нужно исправить: robots.txt, HTML-шаблон страницы или серверный конфиг (nginx/Apache).
Для каждой проблемы указан тип: SEO-индексация, AI-видимость, приватность контента или технический конфликт.
Для robots.txt-проблем Chexter предлагает готовый фрагмент с нужными директивами, который можно скопировать напрямую.
Что входит в отчёт
Полный адрес страницы и финальный URL после всех редиректов.
Статус каждого краулера: ✅ открыт, ⛔ заблокирован, ⚠️ конфликт или не указан.
Какие директивы применились к каждому боту, строка, которая сработала.
Все директивы noindex, nofollow, nosnippet из HTML и HTTP-заголовков.
Список противоречий между robots.txt, meta robots и HTTP-ответами.
Для каждой проблемы: что изменить и готовый фрагмент robots.txt.
Полная матрица доступа со статусами и рекомендациями в формате Word.
⚠️ Что Chexter проверяет, а что — нет
Bot Access Checker проверяет технические правила доступа: robots.txt, meta robots, X-Robots-Tag и HTTP-ответы. Он показывает, что разрешено или запрещено по этим правилам.
Chexter не проверяет факт использования страницы AI-системами. Инструмент не может гарантировать, что страница уже используется или не используется конкретной системой — только что технические правила это разрешают или запрещают.
Блокировка AI-ботов в robots.txt не является абсолютной гарантией. Добросовестные AI-системы уважают robots.txt, но не все crawler-сервисы это делают. Для защиты контента могут потребоваться дополнительные меры на уровне сервера.
Для кого этот инструмент
SEO-специалист
Быстро проверяет, открыта ли страница для нужных краулеров после правок в robots.txt, переезда сайта или подключения CDN.
Разработчик
Диагностирует проблемы с CDN/WAF-блокировками, конфликтами заголовков и неочевидными запретами после деплоя.
Владелец медиа и блога
Контролирует, какие AI-системы могут использовать контент для обучения, и управляет доступом GPTBot / ClaudeBot / CCBot.
Владелец интернет-магазина
Проверяет, что Googlebot, Bingbot и AI-поисковые боты видят каталог, карточки товаров и коммерческие страницы.
Связанные инструменты
Robots.txt Checker
Полный аудит файла robots.txt: синтаксис, правила для конкретного URL, конфликты.
Открыть →
Sitemap Checker
Проверка XML-карты сайта: 404-страницы, noindex-URL, дубли, lastmod.
Открыть →
LLM Visibility
Насколько хорошо AI-модели могут извлечь и понять контент страницы.
Открыть →
Redirect Checker
Цепочки редиректов, статусы 301/302/307, финальные URL.
Открыть →
Частые вопросы
Не всегда. Google-Extended — это robots.txt token для управления использованием контента в Gemini и Vertex AI. Google отдельно указывает, что Google-Extended не влияет на включение сайта в Google Search и не является ranking signal. Но блокировка поисковых ботов — Googlebot, Bingbot, YandexBot — напрямую влияет на обход и индексацию.
OAI-SearchBot используется ChatGPT Search и помогает сайту появляться в поисковых ответах ChatGPT. GPTBot предназначен для сбора контента с целью потенциального использования в обучении моделей. Это независимые сущности: нормальный сценарий — разрешить OAI-SearchBot и одновременно закрыть GPTBot.
Это один из самых частых сценариев. Причины: robots.txt с Disallow для user-agent бота, meta robots noindex, X-Robots-Tag в HTTP-заголовках, CDN/WAF, который блокирует запросы по user-agent, редиректы, которые ведут бота в другое место, или правила на уровне .htaccess / nginx. Человек видит страницу — бот получает ошибку или запрет.
Да. Для этого нужно управлять поисковыми и training-ботами независимо. Например, оставить доступ для Googlebot, Bingbot и YandexBot, и добавить Disallow для GPTBot, ClaudeBot, CCBot и других training-краулеров. Bot Access Checker покажет текущее состояние и подскажет, что именно нужно изменить.
Нет. Chexter проверяет техническую доступность и правила доступа на уровне robots.txt, meta robots, X-Robots-Tag и HTTP-ответов. Инструмент не может определить, использует или не использует конкретная AI-система ваш контент — только то, разрешено ли это технически.
Проверьте, кто реально видит ваш контент
Одна проверка покажет матрицу доступа для поисковых и AI-краулеров: кто открыт, кто заблокирован, где конфликт и что нужно исправить.
Проверить доступ ботовБез регистрации · отчёт хранится 5 дней · можно скачать DOCX