Что такое llms.txt
llms.txt — это текстовый файл в формате Markdown,
который размещается в корне сайта по адресу /llms.txt.
Он описывает структуру и ключевые страницы сайта специально для больших языковых моделей (LLM),
чтобы те правильно понимали, о чём ресурс, и могли ссылаться на нужные разделы.
Стандарт предложил Jeremy Howard (основатель fast.ai)
вместе с командой llmstxt.org
в 2024 году. Аналогия простая: как robots.txt
управляет тем, какие страницы индексируют поисковые роботы, так и llms.txt
даёт AI-системам структурированную «карту» вашего сайта.
Суть идеи: AI-модели обрабатывают текст в ограниченном контекстном окне. Вместо того чтобы парсить весь ваш сайт (что нереалистично для LLM при ответе в реальном времени), они могут прочитать один компактный файл и сразу получить полную картину.
Зачем нужен llms.txt
Google работает через ссылки и PageRank: бот методично обходит страницы, строит индекс, ранжирует по сотням сигналов. AI-поиск работает принципиально иначе. Когда пользователь спрашивает «лучший SEO-инструмент для малого бизнеса» у ChatGPT или Perplexity, модель не пробегает весь интернет — она использует кэшированные знания и обращается к нескольким источникам по релевантным URL.
ChatGPT Browse
Посещает страницы по запросу, но ограничен контекстом. llms.txt помогает выбрать правильные URL.
Perplexity AI
Подтверждённо читает llms.txt. Включает ссылки с описанием в генерируемые ответы.
Claude / Gemini
Экосистема развивается: ранние сайнэлы уже дают advantage тем, кто внедрил стандарт.
Без llms.txt модель может не найти вашу главную страницу с услугами, неправильно понять тематику сайта или пропустить ключевые материалы. Особенно критично для сайтов со сложной архитектурой, JS-рендерингом или скудными внешними упоминаниями.
Структура файла llms.txt
Файл написан на обычном Markdown. Формат строгий, но минималистичный:
# Chexter — SEO-инструменты
> Онлайн-платформа для технического аудита сайтов: проверка robots.txt,
> sitemap, структурированных данных, скорости и AI-видимости.
Chexter.ru предоставляет бесплатные SEO-инструменты для анализа сайта,
диагностики технических проблем и оценки видимости в AI-поисковиках.
## Инструменты
- [SEO-аудит](https://chexter.ru/tools/seo-audit/): Комплексная проверка технического SEO сайта.
- [Проверка robots.txt](https://chexter.ru/tools/robots-txt-checker/): Анализ файла robots.txt на ошибки и блокировки.
- [AI-видимость (LLM)](https://chexter.ru/tools/llm-visibility/): Оценка того, как AI-системы видят и понимают сайт.
- [Проверка llms.txt](https://chexter.ru/tools/llms-txt-checker/): Валидация файла llms.txt по стандарту.
## О сервисе
- [Пользовательское соглашение](https://chexter.ru/offer/): Условия использования сервиса.
- [Блог](https://chexter.ru/blog/): Руководства по техническому SEO и AI-видимости.Разберём каждый элемент:
# Заголовок
H1 — название сайта или бренда. Обязательный элемент. Должен совпадать с тем, как вы хотите, чтобы вас называли AI.
> Цитата
Blockquote сразу под заголовком — краткое описание сайта в 1–2 предложениях. Это первое, что читает модель для понимания контекста.
Параграф
Расширенное описание после blockquote — опционально. Здесь можно уточнить аудиторию, уникальность и ключевые темы сайта.
## Раздел
H2 — логические группы страниц (Услуги, Блог, Документация и т.д.). Помогают модели понять иерархию.
- [Текст](URL): Описание
Markdown-ссылки с двоеточием и кратким описанием страницы. Описание критично — без него модель не знает, что ждать от URL.
llms.txt vs llms-full.txt — в чём разница
Стандарт предусматривает два файла:
llms.txt
- Структурированный индекс
- Ссылки + краткие описания
- Небольшой размер (≤ 50 KB)
- Быстро читается моделью
- Подходит для большинства сайтов
llms-full.txt
- Полный текст страниц
- Развёрнутое содержимое
- Может быть несколько МБ
- Для документации / API
- Аналог «обучающего датасета»
Рекомендация: начинайте с базового llms.txt.
Он работает быстрее, легче поддерживается и уже поддерживается текущими AI-системами.
llms-full.txt имеет смысл,
если у вас обширная техническая документация или open-source библиотека, где AI должна знать детали API.
Кто уже поддерживает llms.txt
Стандарт молодой, но уже собирает реальную поддержку:
-
Perplexity AI — подтверждённо читает
llms.txtпри формировании ответов. Команда Perplexity публично рекомендует владельцам сайтов добавлять файл. - Сотни крупных сайтов уже внедрили стандарт: Cloudflare, Anthropic, Hugging Face, многие SaaS-продукты в сфере AI.
- Экосистема растёт: появляются плагины для WordPress, интеграции в Next.js и другие фреймворки, парсеры для разработчиков.
Почему ранние внедренцы выигрывают: как только AI-системы начали
массово учитывать llms.txt, сайты с уже готовым файлом получат структурированное преимущество.
Цена входа минимальная — один текстовый файл. Аналогия: сайты, добавившие
robots.txt и sitemap
до того, как Googlebot научился их читать, сразу заняли правильные позиции.
Как добавить llms.txt на сайт
Процесс занимает 15–30 минут и не требует технических знаний выше среднего:
Создайте файл llms.txt
Обычный текстовый файл в UTF-8. Начните с заголовка (# Название), blockquote описания и нескольких секций с ключевыми страницами.
Разместите в корне сайта
Файл должен быть доступен по адресу https://ваш-сайт.ru/llms.txt. На большинстве хостингов достаточно загрузить файл через FTP или файловый менеджер в корневую директорию (public_html / www).
Упомяните в robots.txt (опционально, но рекомендуется)
Добавьте строку в robots.txt, чтобы AI-краулеры находили файл быстрее:
LLMs-txt: https://ваш-сайт.ru/llms.txtПроверьте доступность
Откройте URL в браузере и убедитесь, что файл отдаётся с кодом 200, контент-тип text/plain, без переадресаций на авторизацию.
Типичные ошибки при создании llms.txt
Файл не в корне сайта
Путь /docs/llms.txt или /llms/llms.txt не будет прочитан. Только /llms.txt.
Нет заголовка H1
Первая строка должна начинаться с # Название сайта. Без него файл не соответствует стандарту.
Ссылки без описаний
Запись - [Страница](https://…) без текста после двоеточия теряет половину ценности. AI не знает, зачем читать этот URL.
Битые или нерабочие URL
Если модель попытается посетить страницу и получит 404 — это снижает доверие ко всему файлу. Проверяйте каждую ссылку.
Слишком длинный или слишком короткий файл
100+ страниц в одном файле перегружают контекст. 2–3 ссылки — слишком мало для понимания структуры. Оптимально: 15–40 ключевых URL, разбитых по логическим разделам.
Файл закрыт от краулеров
Убедитесь, что в robots.txt нет правила Disallow: /llms.txt и что файл не требует авторизации.
Как проверить llms.txt на соответствие стандарту
Создать файл вручную легко ошибиться: неправильный формат заголовка, нарушенный синтаксис ссылок, неправильная кодировка или закрытый доступ. Chexter автоматически проверяет все эти аспекты за секунды.