Блог · Техническая сторона
Нужен ли файл llms.txt: проверили на 6 081 визите AI-краулеров
Оптимизация видимости Visiobrand в AI
Ключевые выводы
Что такое откуда взялась идея
Идея простая и на первый взгляд логичная. Раз у поисковых роботов есть robots.txt, пусть у языковых моделей будет свой файл в корне сайта: короткий машиночитаемый документ, где владелец перечисляет главные страницы и факты о компании. Предложение появилось в 2024 году, его подхватили блоги и конференции, и к 2026 году в русскоязычных статьях про GEO файл llms.txt превратился в «обязательный стандарт».
Важная деталь, которая обычно теряется: ни OpenAI, ни Anthropic, ни Google, ни Perplexity не объявляли поддержку этого файла. Он остался предложением сообщества. Проверить это утверждение можно только одним способом: посмотреть, приходят ли краулеры за файлом на самом деле.
Что показали логи: 6 081 визит и ни одного запроса
Мы взяли access-логи visiobrand.io за период с 6 по 20 августа 2026 года. Это 676 854 строки, из которых 6 081 приходится на краулеры языковых моделей.
| Краулер | Обращений к сайту | Из них к llms.txt |
|---|---|---|
| OAI-SearchBot (OpenAI) | 2 336 | 0 |
| GPTBot (OpenAI) | 939 | 0 |
| meta-externalagent (Meta) | 863 | 0 |
| ChatGPT-User (OpenAI) | 835 | 0 |
| PerplexityBot | 802 | 0 |
| ClaudeBot (Anthropic) | 167 | 0 |
| Amazonbot | 121 | 0 |
| Google-Extended | 18 | 0 |
| Итого | 6 081 | 0 |
Отдельно стоит Bytespider (краулер ByteDance): 1 298 обращений к сайту и 2 запроса к llms.txt за две недели. Это единственные обращения к файлу со стороны AI-краулеров, которые мы нашли.
Оговорка про методологию, без неё цифры ничего не стоят. Файл /llms.txt на сайте есть, отдаётся по прямой ссылке и возвращает код 200. Сайт не закрыт от ботов: те же краулеры в этот же период спокойно забирали страницы. То есть ситуация не «боты пришли и не нашли файл», а «боты за ним не приходили вовсе».
Кто тогда запрашивает llms.txt
Всего к файлу за две недели обратились 175 раз, и состав запрашивающих объясняет всё.
| Кто запрашивал | Обращений |
|---|---|
| Человек в браузере (Яндекс.Браузер, Windows) | 120 |
| PetalBot (поисковик Huawei) | 10 |
| Applebot | 7 |
| Наш собственный краулер проверки доменов | 4 |
| SERanking, Semrush, Ahrefs (SEO-инструменты) | 9 |
| Googlebot и bingbot (классический поиск) | 6 |
То есть файл читают классические поисковые и SEO-краулеры, которые обходят вообще все найденные URL, плюс люди, которые пришли посмотреть, есть ли он у нас. Ни одна модель, формирующая ответы пользователям, к нему не обращалась.
Что боты запрашивают вместо него
Те же 6 081 обращение распределились по обычным страницам сайта: главная, раздел с тарифами, статьи, страница контактов. Отдельно краулеры 230 раз запросили robots.txt, то есть правила обхода они читают исправно и именно оттуда узнают, что им можно.
Самое показательное сравнение получилось с нашей страницей /ru/ai-instructions. Это обычная HTML-страница, где собраны факты о компании: что за продукт, для кого, какие метрики считаем, чем отличаемся. По сути ровно то, что предлагается класть в llms.txt. За тот же период её забрали 28 раз, из них 14 запросов сделал OAI-SearchBot и 12 ChatGPT-User.
Один и тот же набор фактов. В виде страницы его забирают, в виде файла в корне он не нужен никому.
Почему так происходит
Ответ на вопрос пользователя модель собирает из двух источников: из того, что осело в её базе знаний при обучении, и из документов, которые она достаёт в момент ответа через поиск. В обоих случаях единицей работы является страница, а не манифест. Поисковый индекс, к которому обращается модель, устроен вокруг URL с их содержимым, заголовками и разметкой.
Плюс чисто практическое соображение. Чтобы краулер начал спрашивать нестандартный файл, поддержку нужно явно заложить в его код и задокументировать. Ни один из вендоров этого не сделал, а значит и обращений быть не может, сколько бы статей ни называли файл стандартом.
Что действительно влияет на попадание в ответы
Список короткий и скучный, зато проверяемый.
Открытый обход в robots.txt. Это единственный файл, который AI-краулеры реально читают. Убедитесь, что GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot и Google-Extended не заблокированы. Частая ошибка: сайт закрыт от них целиком, а маркетинг при этом ждёт упоминаний в ответах.
Факты прямо в HTML. Если цена, состав услуги или характеристика появляются только после выполнения скриптов, для краулера их нет. Проверяется просмотром исходного кода страницы.
Структурированная разметка Schema.org. Разметка помогает модели однозначно связать сущности: что здесь продукт, что цена, что организация.
Отдельная страница с фактами о бренде. Тот самый случай, когда идея llms.txt работает, но в другом формате: обычная страница, куда вынесены ключевые факты о компании простыми утверждениями. Её краулеры забирают, что видно по нашим же логам.
Присутствие в источниках, которые цитируют модели. Отраслевые медиа, справочники, обзоры. Модель охотнее повторит то, что подтверждено несколькими независимыми площадками.
Стоит ли удалять уже созданный llms.txt
Нет, вреда от него никакого: файл лежит, места не занимает, кому-то из людей может пригодиться. Вопрос в другом: не считайте его созданием работой по GEO и не платите за него подрядчику как за отдельную услугу. Если в коммерческом предложении на продвижение в нейросетях пункт про llms.txt стоит первым, это хороший повод спросить, чем исполнитель подтверждает эффект.
Часто задаваемые вопросы
Может, боты просто не нашли файл?+
Файл лежит в корне и открывается по прямой ссылке, код ответа 200. Кроме того, robots.txt в том же корне те же краулеры запросили 230 раз. Проблема доступности исключена.
Две недели логов это не мало?+
За две недели набралось 6 081 обращение восьми разных краулеров и 676 854 строки лога. Для проверки утверждения «файл запрашивают» такого объёма достаточно: при реальной поддержке хотя бы одним вендором обращения были бы регулярными, а не нулевыми.
А если сделать llms-full.txt или добавить раздел Summary?+
Формат не имеет значения, пока за файлом никто не приходит. Обсуждать структуру документа, который не запрашивают, смысла нет.
Правда ли, что Google рекомендует llms.txt?+
Нет. Google не заявлял поддержку этого файла. Для управления доступом к контенту со стороны генеративных продуктов Google использует директивы в robots.txt, в том числе для Google-Extended.
Что тогда делать первым делом?+
Открыть robots.txt и проверить, не закрыты ли AI-краулеры. Это одна минута работы и единственное действие из списка, которое точно доходит до ботов.
Как понять, что изменения сработали?+
По двум группам данных: обращения краулеров в логах сайта и упоминания бренда в ответах моделей. Visiobrand ежедневно проверяет промпты в девяти AI-платформах и показывает, какие страницы вашего сайта модели цитируют, а какие не видят.
Что делать дальше
- Проверьте robots.txt. Убедитесь, что краулерам языковых моделей разрешён обход. Это база, без неё остальное бессмысленно.
- Вынесите факты о компании на отдельную страницу. Простые утверждения без маркетингового тумана: что за продукт, для кого, сколько стоит, чем отличается.
- Посмотрите свои логи. Любую рекомендацию из статей про GEO можно проверить так же, как мы проверили llms.txt: найти обращения в логе и посчитать.
- Считайте результат в упоминаниях, а не в файлах. Наличие файла это не метрика. Метрика это доля ответов, где модель называет ваш бренд.
Начните мониторинг AI-видимости
Отслеживайте, как AI-модели рекомендуют Visiobrand
Об авторе
Алексей Ковалёв · Head of AI Research, Visiobrand. Исследует видимость брендов в AI-системах. Анализирует данные мониторинга 9 AI-платформ.