Robots.txt Checker
Robots.txt: проверка доступа
для поисковых и AI-ботов
Узнайте, что ваш robots.txt открывает и блокирует для Googlebot, Yandex и AI-краулеров. Результат за 10 секунд.
Загружаем robots.txt...
Разбираем правила...
Лимит запросов
Вы достигли лимита проверок. Повторите через:
⚠ /catalog/filter/ закрыт
доступа
проверки
не нужно
правил бесплатно
Сценарии
Когда запускать Robots.txt Checker
Проверьте, не остались ли тестовые блокировки вроде Disallow: / и не закрыты ли важные разделы с этапа разработки.
Убедитесь, что новые разделы открыты для обхода, а технические зоны закрыты корректно. После смены CMS или URL-структуры старые правила часто конфликтуют.
Проверьте, не закрыт ли нужный раздел через robots.txt и может ли поисковой бот добраться до страницы. Часто причина не в контенте, а в конфигурации.
Проверьте, указаны ли Sitemap в robots.txt, доступны ли они по корректным URL и нет ли ошибок в формате ссылок.
Проверьте, открыты или закрыты GPTBot, Google-Extended, ClaudeBot, PerplexityBot и другие AI-боты. Robots.txt управляет техническим доступом к контенту.
Получите DOCX-отчёт: какие правила опасны, что закрыто, что нужно исправить. Готовая документация без скриншотов и ручных описаний.
Проверки
Что проверяет Chexter
8 групп проверок — от доступности файла до карты AI-краулеров и опасных блокировок.
HTTP-статус /robots.txt, редиректы, доступность по HTTPS, ошибки 4xx/5xx. Файл должен быть в корне сайта и применяется только к конкретному протоколу и хосту.
Группы правил для Googlebot, YandexBot, Bingbot, User-agent: * и отдельных AI-краулеров — кто получает какие правила и нет ли конфликтов.
Какие разделы открыты и закрыты, нет ли опасных правил — Disallow: /, закрытого каталога, коммерческих страниц, изображений, CSS или JS.
Наличие Sitemap-директив, формат URL (должен быть абсолютным с протоколом), доступность sitemap.xml и sitemap index. Можно указывать несколько Sitemap.
Пустые группы User-agent, неправильные пути, странные wildcard-правила, конфликты Allow и Disallow и другие неочевидные проблемы.
Проверяем, открыты ли главная, категории, услуги, карточки товаров, статьи, изображения, CSS и JS — ресурсы, которые важны для понимания страниц ботами.
Карта доступа: GPTBot, Google-Extended, ClaudeBot, PerplexityBot, Applebot и другие — открыты или заблокированы, есть ли отдельные правила для каждого.
Список правил, которые могут мешать обходу сайта, диагностике noindex, обработке Sitemap или корректному пониманию структуры страниц ботами.
Типичные проблемы
Какие ошибки помогает найти Robots.txt Checker
Сайт полностью закрыт от обхода
Правило Disallow: / осталось после тестового стенда. Поисковые боты могут перестать обходить весь сайт.
Закрыт важный коммерческий раздел
Каталог, услуги, карточки товаров или статьи закрыты через Disallow. Поисковой бот не может обходить эти страницы — они могут выпасть из индекса.
Sitemap не указан или недоступен
Поисковым системам сложнее находить важные URL, особенно на крупных сайтах. Sitemap отдаёт 404 или указан без протокола и с неверным доменом.
Конфликт правил Allow / Disallow
Раздел закрыт общим правилом, а отдельные страницы пытаются открываться через Allow. Результат зависит от специфики парсера конкретного бота.
Разные правила для Googlebot и User-agent: *
Googlebot может видеть сайт иначе, чем другие роботы. Расхождение правил — частая причина неожиданных результатов в Google Search Console.
Закрыты CSS или JavaScript
Если важные ресурсы закрыты через Disallow, поисковику сложнее понять отрендеренную страницу — это может влиять на оценку контента и скорости.
Страница заблокирована, но должна иметь noindex
Robots.txt закрывает страницу с noindex — бот не видит сигнал и не может исключить её из индекса. Для исключения страница должна быть доступна для обхода.
AI-краулеры заблокированы
GPTBot, Google-Extended и другие AI-боты не могут обходить контент. Это не гарантирует отсутствие сайта в AI-ответах, но ограничивает технический доступ.
Приоритеты
Ошибка → риск → что делать
Практическое руководство по каждой находке Robots.txt Checker.
| Находка | Риск для обхода | Что делать |
|---|---|---|
| Disallow: / | Весь сайт может быть закрыт для обхода поисковыми ботами | Убрать правило или заменить точечными запретами технических зон |
| Disallow: /catalog/ | Коммерческий раздел не обходится — страницы могут выпасть из индекса | Открыть каталог и закрыть только технические подразделы (фильтры, сортировка) |
| Sitemap отсутствует | Поисковые системы получают меньше подсказок о важных URL | Добавить Sitemap: https://example.com/sitemap.xml |
| Sitemap → 404 | robots.txt ссылается на несуществующий файл — сигнал игнорируется | Исправить URL Sitemap или восстановить файл по указанному адресу |
| Закрыта страница с noindex | Бот не видит noindex — URL может появляться в поиске как известный адрес | Разрешить обход страницы — noindex работает только если бот может её посетить |
| Закрыты CSS / JS | Поисковик хуже понимает страницу при рендеринге | Открыть критичные ресурсы, оставив закрытыми только приватные служебные файлы |
Попробуйте прямо сейчас
Проверьте robots.txt за 10 секунд
Карта ботов, опасные блокировки, Sitemap и DOCX-отчёт — без регистрации.
Без регистрации · DOCX без оплаты · 20+ ботов в карте доступа
Точечная проверка
Проверка URL для конкретного бота
В отчёте Chexter можно проверить, разрешён или запрещён конкретный путь для выбранного User-agent — без парсинга robots.txt вручную.
Пример проверки пути в отчёте
User-agent: * / Allow: /Источник: robots.txt, строка 4
Правило:
Disallow: /catalog/filter/Источник: robots.txt, строка 9
Загрузить и разобрать весь файл, получить карту правил, список ботов и все находки.
Отдельный результат для Googlebot, YandexBot, Bingbot и User-agent: * — кому что открыто.
GPTBot, Google-Extended, ClaudeBot, PerplexityBot и другие — открыты или заблокированы.
Все Sitemap-директивы, формат URL и HTTP-статус каждого файла карты сайта.
Поисковые и AI-боты
Поисковые боты и AI-краулеры — это разные сценарии
Один robots.txt управляет обоими типами доступа — но цели и последствия разные.
Googlebot, YandexBot, Bingbot и другие роботы обходят сайт для поиска, индексации и обновления документов в базе поисковика.
GPTBot, Google-Extended, ClaudeBot, PerplexityBot и другие боты могут использовать контент для обучения, извлечения информации или AI-функций.
Chexter показывает технический доступ, но не гарантирует попадание в AI-ответы. Разные AI-системы могут по-разному использовать user-agent и правила доступа — проверка robots.txt даёт информацию о конфигурации, а не о поведении конкретного сервиса.
Методология
Как работает Robots.txt Checker
Chexter определяет хост, протокол и формирует путь к robots.txt в корне домена.
Проверяем HTTP-статус, редиректы, доступность файла по HTTPS и корректность ответа сервера.
Группируем User-agent, Allow, Disallow, Sitemap и другие директивы. Выявляем конфликты, пустые группы и ошибки синтаксиса.
Смотрим, открыт ли сайт для Googlebot, YandexBot, Bingbot, User-agent: * и AI-краулеров. Проверяем критичные коммерческие разделы и важные ресурсы.
Находим Sitemap-директивы, проверяем формат URL, корректность абсолютных адресов и доступность каждого файла карты сайта.
Показываем критичные ошибки, предупреждения, безопасные правила и Quick Wins — что исправить первым и как это сделать.
Результат
Что будет в отчёте
Структурированный отчёт о конфигурации доступа, который можно скачать в DOCX.
Файл найден или нет, HTTP-код ответа, наличие редиректов или ошибок. Общая оценка конфигурации (0–100).
Все группы User-agent, Allow, Disallow и Sitemap-директивы — полный разбор содержимого файла.
Отдельный результат для Googlebot, YandexBot, Bingbot, User-agent: * и AI-краулеров — кому что открыто или закрыто.
Правила, закрывающие важные страницы, разделы, Sitemap, CSS, JS или изображения — с объяснением риска.
Список всех Sitemap-директив и HTTP-статус каждого файла — найден, доступен, 404 или другая ошибка.
Что исправить первым: убрать опасный Disallow, добавить Sitemap, открыть важный раздел, поправить синтаксис.
Весь отчёт в формате Word — карта правил, боты, Sitemap, ошибки и рекомендации для клиента, SEO или разработчика.
Важно понимать
Robots.txt управляет обходом, а не индексацией
URL, закрытый через robots.txt, всё равно может появиться в результатах поиска — если Google найдёт ссылки на него из других источников. Google прямо указывает: robots.txt не является механизмом скрытия страниц из индекса.
Если нужно исключить страницу из поиска: используйте meta robots noindex или X-Robots-Tag. При этом страница должна быть доступна для обхода — иначе бот не увидит noindex.
Если нужно закрыть приватный контент: robots.txt не подходит. Используйте авторизацию, пароль или ограничение доступа на уровне сервера.
Chexter находит правила, которые могут мешать обходу важных страниц или конфликтовать с noindex. Это техническая диагностика — финальное решение по SEO принимает специалист.
Для кого
Кому полезен Robots.txt Checker
Проверить доступность важных разделов для поисковых ботов, диагностировать проблемы с индексацией, получить DOCX для клиента или команды.
Убедиться, что после деплоя нет тестовых блокировок, Sitemap корректно указан, CSS/JS открыты и конфигурация не конфликтует с требованиями SEO-команды.
Понять, почему сайт плохо индексируется или трафик падает после запуска или редизайна — без погружения в серверные конфиги.
Быстрая проверка конфигурации обхода клиентского сайта. Наглядный отчёт с картой ботов, опасными блокировками и списком правок для передачи команде.
FAQ
Часто спрашивают
Robots.txt запрещает индексацию?
Как полностью убрать страницу из поиска?
Что значит Disallow: /?
Disallow: / означает закрытие всего сайта. Правило применяется только к конкретному User-agent-блоку, в котором находится.Нужно ли указывать Sitemap в robots.txt?
Sitemap: https://example.com/sitemap.xml. Можно указывать несколько Sitemap-директив — они не привязаны к конкретному User-agent.Можно ли закрыть AI-ботов отдельно?
Почему Googlebot и YandexBot могут видеть сайт по-разному?
Можно ли проверять robots.txt конкурентов?
URL-тестер
Проверить конкретный URL в robots.txt
Введите домен и путь — получите мгновенный ответ: разрешён или заблокирован URL для выбранного бота.
Генератор
Создать robots.txt для своего сайта
Выберите тип сайта, настройте доступ для ботов — получите готовый файл без ошибок.
После скачивания загрузите файл в корень сайта: https://example.com/robots.txt
Запустить
Проверьте robots.txt за несколько секунд
Вставьте домен — получите карту правил, доступность ботов, Sitemap и список опасных блокировок.
Без регистрации · DOCX без оплаты · Результат сразу