Robots.txt: полное руководство — как закрыть и открыть сайт для ботов

Что такое robots.txt

Robots.txt — это текстовый файл, который хранится в корне домена и управляет поведением веб-краулеров. Он входит в протокол исключений роботов (Robots Exclusion Protocol), придуманного ещё в 1994 году, и до сих пор поддерживается всеми крупными поисковыми системами.

Файл всегда находится по адресу https://example.com/robots.txt — строго в корне, без поддиректорий. Если файл отсутствует, боты трактуют это как отсутствие ограничений и сканируют сайт целиком.

Кто читает robots.txt:

• Поисковые краулеры — Googlebot, YandexBot, Bingbot и десятки других
• AI-краулеры — GPTBot (OpenAI), ClaudeBot (Anthropic), PerplexityBot и другие
• SEO-инструменты — Ahrefs, Semrush, Screaming Frog учитывают правила при сканировании
• Агрегаторы и парсеры — добросовестные парсеры соблюдают протокол

Структура файла

Файл состоит из групп (блоков) инструкций. Каждая группа начинается с директивы User-agent, за которой следуют правила Disallow и/или Allow. В конце файла, как правило, указывается адрес Sitemap.

Минимальный пример

# Разрешить всем ботам всё
User-agent: *
Disallow:

Sitemap: https://example.com/sitemap.xml

Основные директивы

Пример: закрыть служебные разделы

User-agent: *
Disallow: /admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Allow: /

Sitemap: https://example.com/sitemap.xml

Приоритет Allow vs Disallow

При конфликте правил Google выбирает более конкретное (длинное) из них. Если длина одинакова — приоритет у Allow. Яндекс также применяет принцип «более специфичное правило побеждает».

# Закрыть раздел /private/, но разрешить одну страницу в нём
User-agent: *
Disallow: /private/
Allow: /private/open-page.html

Типичные ошибки

1. Блокировка всего сайта

Самая опасная ошибка — файл, закрывающий весь сайт от индексации. Часто появляется при миграции, когда разработчики выставляют ограничение на период работ и забывают его снять.

# ОПАСНО: закрыт весь сайт
User-agent: *
Disallow: /

2. Блокировка CSS и JavaScript

Запрет на /assets/, /static/, /wp-content/ мешает Googlebot рендерить страницы. Поисковик оценивает сайт через headless-браузер; если он не может загрузить стили и скрипты, качество рендеринга (и ранжирование) снижается.

# Проблема: закрыты стили и скрипты
User-agent: *
Disallow: /wp-content/themes/
Disallow: /wp-content/plugins/

3. Закрытый раздел без noindex

Если страница заблокирована в robots.txt, Googlebot не может её прочитать. Это значит, что он не увидит мета-тег <meta name="robots" content="noindex">. Страница может оказаться в индексе без контента — просто по факту ссылок на неё с других ресурсов.

4. Регистрозависимые пути

Пути в robots.txt чувствительны к регистру. Disallow: /Admin/ не закроет /admin/. Всегда проверяйте реальный регистр URL на сервере.

Robots.txt для AI-ботов

С 2023 года крупные AI-компании запустили собственных краулеров для обучения языковых моделей и сбора данных для AI-поиска. Все они декларируют поддержку robots.txt, но стратегии у сайтов разные.

Основные AI-краулеры

Заблокировать все AI-краулеры

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: Amazonbot
Disallow: /

Разрешить AI-краулерам часть контента

Если хотите присутствовать в AI-ответах (GEO-стратегия), но защитить платный контент — используйте точечные разрешения:

User-agent: GPTBot
Disallow: /premium/
Disallow: /account/
Allow: /blog/
Allow: /guides/

User-agent: PerplexityBot
Disallow: /premium/
Allow: /

Как проверить robots.txt

После любых изменений в файле обязательно проверьте результат. Ошибка может стоить выпадения сотен страниц из индекса.

Google Search Console

В GSC есть встроенный инструмент «Тестирование robots.txt» (раздел «Старые инструменты и отчёты»). Он позволяет проверить, допускает ли текущий robots.txt доступ к любому URL для конкретного User-agent. Кроме того, в отчёте «Покрытие» GSC показывает страницы, заблокированные robots.txt.

Chexter — проверка robots.txt онлайн

Инструмент Chexter анализирует robots.txt за секунды: парсит все директивы, проверяет доступность Sitemap, выявляет опасные блокировки (включая Disallow: /), и показывает статус для каждого основного краулера — Googlebot, YandexBot, Bingbot, GPTBot и других AI-ботов.