Трафик из нейросетей: как отследить переходы и что они на самом деле показывают

Механика простая. Пользователь задаёт вопрос ассистенту, получает готовый ответ, рядом с ответом видит список источников или ссылку внутри текста, кликает и попадает на страницу. С точки зрения сервера это обычный HTTP-запрос: браузер передаёт заголовок Referer с адресом страницы, откуда пришёл клик, и в журнале появляется запись с хостом ассистента.

Отличие от поискового трафика принципиальное. В поиске ссылка это единственный способ получить содержание, поэтому клик почти обязателен. В ассистенте ответ самодостаточен, и клик делают только тогда, когда нужно проверить утверждение, посмотреть цену, найти документацию или убедиться, что компания существует. Отсюда два следствия: объём переходов заведомо меньше, а профиль посадочных страниц смещён к главной и разделам верхнего уровня, а не к длинным статьям.

Второе следствие важнее для аналитика. Реферер передаётся не всегда. Веб-версии ассистентов работают в браузере и заголовок отдают. Мобильные и десктопные приложения открывают ссылку во внешнем браузере, и в этом случае реферер часто пустой: визит попадает в «прямые заходы» и там растворяется. Поэтому счёт только по рефереру всегда даёт нижнюю границу.

Признаков ровно два: хост в реферере и метка в адресе страницы. Ниже перечислены те, что реально встречаются в журналах российского сайта.

Метки важнее реферера. ChatGPT дописывает к исходящей ссылке параметр utm_source=chatgpt.com. Это значит, что переход опознаётся даже тогда, когда заголовок Referer до сервера не дошёл: метка остаётся в строке запроса, попадает и в журнал, и в счётчик на странице. Яндекс к своим ссылкам добавляет ysclid, идентификатор клика. Он тоже переживает потерю реферера и позволяет вытащить переходы, которые иначе ушли бы в «прямые».

Где здесь ловушка. Хосты ya.ru и yandex.ru обслуживают все поверхности Яндекса сразу: обычную выдачу, колдунщики и ответы с Алисой. По одному реферер-хосту отделить AI-поверхность от классического поиска нельзя. То же с параметром ysclid: он говорит о клике по ссылке Яндекса, но не о том, что ссылка стояла под сгенерированным ответом. Поэтому корректная формулировка в отчёте звучит так: сегмент по хостам Яндекса это верхняя граница, а chatgpt.com и perplexity.ai дают чистый счёт. Смешивать их в одну цифру без оговорки некорректно.

Мы разобрали журналы собственного сайта visiobrand.io за 30 дней и приводим результат как есть, без округления в удобную сторону.

Посадочные страницы почти всегда одни и те же: главная страница и русский раздел сайта, реже конкретная статья. Это подтверждает наблюдение выше: ассистент отправляет человека не за содержанием, а за подтверждением, и человек идёт на верхний уровень сайта.

Честная интерпретация: 47 переходов за месяц это полтора перехода в сутки. На таком объёме нельзя строить прогноз выручки, нельзя считать конверсию по каналу и нельзя сравнивать недели между собой, потому что разброс в единицах событий не отличим от случайного. И это не особенность нашего сайта. Для большинства российских сайтов, которые сейчас начинают смотреть на этот канал, порядок будет таким же: десятки переходов в месяц. Если кто-то показывает тысячи, первым делом стоит проверить, не попали ли в сегмент обращения краулеров и не засчитаны ли туда все переходы с хостов Яндекса целиком.

Второй отчёт, который надо построить рядом с первым, это обращения роботов AI-платформ. Мы взяли срез журналов за 10 дней по User-Agent.

Сумма около семи тысяч обращений за десять дней. Даже без аккуратного пересчёта на месяц видно, что счёт идёт на тысячи и десятки тысяч, тогда как живых переходов по ссылкам за месяц было 47. Разница на два порядка.

Отдельно стоит пояснить ChatGPT-User. Этим агентом страница подгружается в момент, когда ассистент во время диалога идёт на сайт по инициативе пользователя. Соблазн засчитать такие обращения как визиты большой, но это не визит человека: страницу забирает робот, а человек видит пересказ. Если сложить их с переходами, канал моментально «вырастет» в двадцать раз, и весь отчёт станет бесполезным.

Из сопоставления следует главный вывод статьи. Нейросети обращаются к сайту постоянно, а людей присылают редко. Значит, присутствие в ответах работает не как источник кликов, а как влияние на выбор до визита: человек читает ответ, запоминает название, а на сайт приходит позже и другим путём. Мерить эффект только по переходам с реферером означает измерять малую и не самую важную часть.

Прямого счётчика у этого влияния нет, но следы остаются в трёх местах.

Брендовый поиск. Человек узнал название в ответе ассистента и через день ищет его в поисковике. По данным Вебмастера для visiobrand.io за 90 дней: 3 139 показов, 191 клик, 500 уникальных запросов, и 53% кликов приходится на брендовые запросы. Больше половины кликов из поиска идут по названию компании, то есть на сайт приходят те, кто уже знает, что ищет. Рост доли и абсолютного числа брендовых запросов это самый доступный индикатор узнаваемости, и он снимается штатными инструментами без дополнительной разработки.

Прямые заходы. Часть трафика из приложений ассистентов физически неотличима от прямых заходов, потому что реферер потерян и метки нет. Резкий рост «прямых» без офлайн-кампаний и без рассылок это повод посмотреть, не совпал ли он с появлением бренда в ответах.

Разговор с продажами. Самый грубый и самый надёжный источник. Вопрос «откуда вы о нас узнали» с вариантом ответа про AI-ассистента даёт то, чего не даёт ни один журнал: подтверждение, что ответ нейросети участвовал в решении. Это качественные данные, их не подставить в дашборд, но именно они закрывают разрыв между тысячами обращений роботов и десятками кликов.

Сегмент строится по одному правилу с несколькими условиями, объединёнными по «или»:

1. Реферер содержит chatgpt.com.
2. Реферер содержит perplexity.ai.
3. Реферер содержит ya.ru или yandex.ru (помечается как верхняя граница, см. оговорку выше).
4. Параметр utm_source равен chatgpt.com.
5. В адресе страницы присутствует параметр ysclid.

Три вещи, которые стоит сделать сразу. Первое: держать сегмент отдельно от органического поиска и от «переходов с сайтов», иначе через месяц никто не восстановит, что и как считалось. Второе: хранить перечень хостов и меток в одном месте, желательно в том же документе, где описан отчёт, потому что список будет меняться. Третье: зафиксировать дату старта сегмента и не менять правила задним числом, иначе динамика превратится в артефакт настроек.

Робота отделяют от человека по трём признакам.

User-Agent. Самый прямой способ: OAI-SearchBot, GPTBot, ChatGPT-User, PerplexityBot, GoogleOther, Google-Extended, YandexBot и прочие явно представляются. Список ведут вручную и пополняют по журналам, потому что новые агенты появляются регулярно.

Отсутствие исполнения скриптов. Краулер забирает HTML и не выполняет JavaScript, поэтому счётчик на странице его не видит вообще. Это удобное свойство: если событие есть в журнале, но нет в счётчике, перед вами почти наверняка робот. Обратная ситуация тоже бывает, когда у человека блокировщик, поэтому признак работает как фильтр, а не как доказательство.

Поведение в журнале. Робот берёт много URL подряд, с ровными интервалами, без загрузки статики и без повторных заходов на ту же страницу. Человек грузит страницу целиком, включая стили, шрифты и картинки.

Важная оговорка: исключать роботов надо из отчёта о переходах, но не из журналов. Обращения краулеров это самостоятельная и полезная метрика, второй отчёт рядом с первым.

Для этой конкретной задачи серверный журнал даёт более полную картину по четырём причинам.

Он фиксирует обращения краулеров, а счётчик на странице их не видит принципиально. Он не зависит от блокировщиков и от согласия на сбор данных, поэтому не теряет часть живых переходов. Он сохраняет исходный реферер и полную строку запроса со всеми метками, даже если внутри сайта потом произошёл редирект и параметры отвалились. И он позволяет считать историю задним числом: правило можно применить к архиву за прошлый месяц, тогда как сегмент в счётчике начинает работать только с момента создания.

У журнала есть и слабая сторона: в нём нет поведения, глубины просмотра и конверсий. Поэтому рабочая связка выглядит так: журнал отвечает на вопрос «сколько и откуда», счётчик на странице отвечает на вопрос «что эти люди делали дальше», и сходятся они по посадочной странице и дате.

Примеры рассчитаны на стандартный combined-формат nginx, где поля разделены кавычками: второе поле это строка запроса, четвёртое реферер, шестое User-Agent.

Переходы по реферер-хосту, с разбивкой по источникам:

awk -F'"' '{print $4}' /var/log/nginx/access.log \
  | grep -aoE '^https?://[^/]+' \
  | sed -E 's#^https?://##' \
  | grep -E '(chatgpt\.com|perplexity\.ai|ya\.ru|yandex\.ru)$' \
  | sort | uniq -c | sort -rn

Переходы по меткам в адресе, то есть те, у которых реферер потерян:

awk -F'"' '$2 ~ /utm_source=chatgpt\.com|[?&]ysclid=/ {print $2}' /var/log/nginx/access.log \
  | wc -l

Обращения краулеров AI-платформ по User-Agent:

awk -F'"' '{print $6}' /var/log/nginx/access.log \
  | grep -aoE 'OAI-SearchBot|ChatGPT-User|GPTBot|PerplexityBot|Perplexity-User|GoogleOther|Google-Extended|YandexBot' \
  | sort | uniq -c | sort -rn

Посадочные страницы переходов из ассистентов, чтобы понять, куда именно приходят люди:

awk -F'"' '$4 ~ /chatgpt\.com|perplexity\.ai|ya\.ru|yandex\.ru/ {print $2}' /var/log/nginx/access.log \
  | awk '{print $2}' | cut -d'?' -f1 \
  | sort | uniq -c | sort -rn | head -20

Если журналы ротируются ежедневно, те же команды применяют к архиву через zcat по маске файлов. Для месячного среза этого достаточно: специальных систем сбора для задачи не требуется.

Пока переходы измеряются десятками, отчёт строят вокруг присутствия в ответах, а трафик держат как справочную строку.

Логика такая: первые четыре метрики управляемы и меняются от ваших действий в течение недель, а трафик это производная, которая подтянется позже и не линейно.

Наши собственные наблюдения за 30 дней по 150 отслеживаемым вопросам на девяти платформах дают несколько устойчивых закономерностей.

Источники сильно концентрированы. В ответах собрано 317 045 цитат с 7 978 доменов, при этом на топ-20 доменов приходится 42,2% всех цитат. То есть почти половину ссылочной массы делят два десятка площадок, а остальные восемь тысяч доменов делят вторую половину. Попасть в узкий круг сложно, но именно он определяет, чей материал ассистент возьмёт за основу.

Цитата и упоминание связаны. В ответах, где процитирован наш материал, бренд назван в 75 до 100% случаев. В ответах без цитаты бренд назван в 5 до 35% случаев. Это корреляция, а не доказанная причинность: часть эффекта объясняется тем, что цитата и упоминание вызваны одной и той же формулировкой вопроса. Но разрыв слишком велик, чтобы им пренебрегать при планировании материалов.

Платформы расходятся радикально. По одному и тому же набору вопросов видимость бренда составляет от 9,9% в DeepSeek до 60,5% в Алисе AI. Средняя видимость «по всем платформам» скрывает эту разницу и мало о чём говорит: отчёт имеет смысл только в разрезе платформ.

Скорость подхвата разная. Время до первой цитаты нового материала: Алиса 7 дней, Perplexity 13 дней, ChatGPT 18 дней, Gemini 79 дней, DeepSeek не цитировал ни разу. Это ещё один аргумент против недельных выводов: на части платформ горизонт наблюдения измеряется месяцами.

Считать переходы из нейросетей вместе с органикой. Без отдельного сегмента такие визиты расходятся по трём корзинам: «переходы с сайтов», «поиск» и «прямые заходы». Канал перестаёт быть видимым, а любые выводы о нём становятся домыслом.

Считать обращения краулеров визитами. Самая дорогая ошибка, потому что она увеличивает цифру в сотни раз и выглядит как успех. Роботы и люди идут в два разных отчёта.

Делать выводы по одной неделе. При объёме в десятки событий в месяц недельный срез это единицы событий. Минимальное окно для сравнения 30 дней, для платформ с медленным подхватом больше.

Ждать быстрой окупаемости в кликах. Канал сейчас не про клики. Если задача поставлена как «привести трафик из нейросетей за месяц», она не будет выполнена ни при какой работе с контентом, и ответственность за это лежит на постановке задачи, а не на исполнителе.

Смотреть только на главную страницу. Посадочные распределены неравномерно, и понимание того, какие материалы приводят к переходу, теряется, если не разбирать URL.

Прогнозов с процентами мы не даём: формат ответов, доля ссылок в них и правила передачи реферера меняются несколько раз в год, и любая цифра прогноза устареет быстрее, чем статья. Разумнее готовиться к диапазону сценариев.

Что стоит сделать сейчас, вне зависимости от того, куда двинется рынок. Зафиксировать базовую линию: снять текущие значения видимости, цитируемости и брендового спроса, чтобы через полгода было с чем сравнивать. Завести сегмент переходов сразу, даже если в нём десятки визитов, потому что задним числом в счётчике его не восстановить. Увеличить срок хранения серверных журналов: 30 дней ротации мало для канала с таким объёмом, 90 дней дают возможность считать историю. Добавить в форму заявки и в скрипт продаж вопрос об источнике с явным вариантом про AI-ассистента. И держать в порядке фактуру страниц: конкретные цифры, даты, названия и структурированную разметку, потому что именно проверяемые факты ассистенты переносят в ответ вместе со ссылкой на источник.