ИИ-боты забирают сессии сайта вместо живых читателей

Вечер. Открываешь отчёт веб-аналитики, а там благодать: графики посещаемости ровные, визиты потихоньку ползут вверх, счётчик бодро накручивает тысячи сессий. Кажется, контент работает, интерес к проекту есть. А потом открываешь CRM, смотришь на входящие заявки или комментарии — и там глухая тишина. Ни звонков, ни вопросов, ни живого диалога. Знакомо?

Многие предприниматели и авторы в такой момент начинают грешить на оффер, на отдел продаж или на «сложный сезон». Но корень проблемы часто лежит в совершенно другой плоскости. Структура интернет-трафика за последний год изменилась до неузнаваемости: огромную долю заходов на сайты теперь совершают не живые люди, а автоматические сборщики данных для нейросетей. Они исправно крутят счётчик сессий, но никогда ничего у вас не купят.

Куда уходят сессии: контраст между отчётом и кассой

Сравнение: 13% сессий у ботов и рост трафика без заявок против живых клиентов

Смотришь на красивый график в Метрике — и глаз радуется. Но красивый отчёт кормит только самолюбие и слайды презентаций. Реальный бизнес живёт за счёт людей, которые читают текст, вовлекаются и совершают целевые действия. Когда существенная часть визитов приходится на программные скрипты, аналитика превращается в иллюзию.

Масштаб этого сдвига наглядно показало исследование британской технологической компании 51Degrees. Специалисты проанализировали гигантский массив — более 3 миллиардов посещений сайтов за двенадцать месяцев к концу мая 2026 года. Результат отрезвляет: доля самоназванных ИИ-ботов в мировом трафике достигла 13% от всех веб-сессий. Для сравнения: годом ранее этот показатель держался на уровне 8%. Чистый прирост за двенадцать месяцев составил внушительные 62,5%.

И это не просто техническая статистика из жизни серверных стоек. Глава 51Degrees Джеймс Розуэлл прямо указывает на то, что такие визиты наносят владельцам сайтов двойной чувствительный удар:

Прямая нагрузка на сервер и бюджет. Краулеры регулярно и безжалостно выкачивают сотни и тысячи страниц. Они жгут процессорные мощности, забивают полосу пропускания хостинга и вынуждают оплачивать возросшие счета за серверную инфраструктуру.
Угон живого внимания аудитории. Забирая контент с вашего сайта, боты уносят его в базы знаний нейросетей. Собранная информация тут же превращается в готовые прямые ответы в поисковых системах и диалоговых интерфейсах. Человек получает выжимку вашей статьи прямо в окне чата — и ему больше незачем переходить по ссылке на первоисточник.

При этом цифра в 13% — это лишь верхушка айсберга. В неё вошли строго те сборщики данных, которые честно и открыто представляются через заголовок User-Agent (например, ClaudeBot или PerplexityBot). Скрытые боты, которые маскируются под обычные пользовательские браузеры и подменяют цифровые отпечатки, в эти тринадцать процентов не попали. Точно так же туда не включён основной поисковый робот Googlebot, хотя Google активно собирает данные для собственных алгоритмов.

Чтобы не путать понятия: в июне 2026 года компания Cloudflare оценивала общую долю всех автоматических ботов в мировом интернете примерно в 57,4% сетевых запросов. Но 57,4% — это глобальная корзина абсолютно всех автоматических запросов (включая поисковики, мониторинги, спам и технические скрипты). А 13% от 51Degrees — это прицельная доля именно открытых сборщиков для обучения и работы нейросетей внутри веб-сессий.

Кто выкачивает страницы: парадокс публичных чат-ботов

Схема: робот торговой площадки выкачивает контент в базы знаний и ответы чатов

Когда заходит речь об искусственном интеллекте, большинство сразу представляет популярные диалоговые окна вроде ChatGPT или Claude. Кажется, что именно толпы пользователей, задающих вопросы в чатах, заставляют поисковых роботов шерстить весь интернет вдоль и поперёк. Однако реальная статистика переворачивает это представление с ног на голову.

Главную нагрузку на сайты создают вовсе не пользовательские чат-боты, а инфраструктурные и торговые гиганты. Абсолютным лидером по объёму выкачиваемого трафика в исследовании 51Degrees стал AmazonBot. На одного этого робота пришлось 4,1% от вообще всех веб-сессий в анализируемой выборке. Вдумайтесь: один корпоративный краулер забирает больше сессий, чем все известные публичные ИИ-сервисы вместе взятые.

Как распределились доли остальных заметных сборщиков:

AmazonBot — 4,1% всех визитов (безоговорочный лидер рейтинга).
Microsoft BingBot — 1,35% от общего объёма сессий.
Anthropic (ClaudeBot) — около 0,19% (в ряде отраслевых сводок округляется до 0,2%).
OpenAI — 0,09% (в сводках часто фигурирует как 0,1%).
Perplexity — 0,04%.
Google Gemini — 0,0003%.

На суточном срезе 29 мая 2026 года система мониторинга 51Degrees зафиксировала от одного только AmazonBot свыше 6,43 миллиона сессий за двадцать четыре часа. Зачем торговому гиганту такие объёмы? Ответ кроется в структуре его сервисов.

Официальная техническая документация Amazon разделяет роботов компании на три самостоятельных типа, каждый из которых решает свою задачу:

Amazonbot — базовый сборщик общедоступной информации. Именно его данные могут использоваться для обучения внутренних моделей искусственного интеллекта компании и каталогизации сети.
Amzn-SearchBot — специализированный поисковый робот. Он собирает контент для работы поиска в продуктах экосистемы (включая голосовой ассистент Alexa), но не используется для тренировки генеративных сетей.
Amzn-User — агент, обслуживающий точечные запросы пользователей в режиме реального времени (например, когда голосовому помощнику нужно прямо сейчас открыть и проверить свежую страницу). Этот робот ориентирован на живой запрос и может не учитывать общие директивы регулярного обхода.

Смысл простой: крупные экосистемы строят собственные гигантские базы знаний, чтобы отвечать покупателям внутри своих приложений. Им нужен ваш текст, ваши цены, ваши описания и статьи. Но делиться живыми посетителями с вашим сайтом в их планы не входит.

Почему файл robots.txt не решает проблему заявок

Схема: запрет в robots.txt не возвращает заявки — нужны каналы прямого контакта

Первая реакция любого технического специалиста, когда он видит наплыв нежелательных ботов: «Давайте просто закроем их в robots.txt». Прописать строчку Disallow, заблокировать User-Agent — и дело с концом. Однако на практике эта стратегия быстро упирается в глухую стену.

По данным аналитической платформы Known Agents, владельцы сайтов и издатели закрывают в своих файлах robots.txt лишь около 21% отслеживаемых сборщиков данных. Почему так мало? Потому что появление новых краулеров происходит быстрее, чем обновляются инструкции на серверах. ИТ-директор Forbes Нина Гулд метко назвала этот процесс «игрой в крота»: стоит заблокировать трёх известных сборщиков, как на их месте тут же появляются пять новых с другими именами.

Да, крупные и добросовестные разработчики искусственного интеллекта соблюдают правила robots.txt примерно в 95,6% случаев. Если вы грамотно указали запрет, цивилизованный робот действительно перестанет грузить ваш сервер. Но здесь кроется главная ментальная ловушка:

Блокировка ботов в robots.txt защищает сервер от нагрузки, но она физически не способна превратить ушедшие сессии в живых клиентов.

Если вы запретите AmazonBot или ClaudeBot заходить на сайт, они перестанут расходовать ваши серверные ресурсы. Но живой читатель от этого на страницу волшебным образом не вернётся. Человек всё так же останется в интерфейсе поисковика или нейросети, которая найдёт альтернативный источник информации или возьмёт ранее сохранённые данные. Технический запрет решает вопрос нагрузки на хостинг, но не решает задачу лидогенерации и контакта с аудиторией.

Куда смещается фокус: каналы прямого контакта

Когда вы публикуете статью на классическом автономном сайте, вы отдаёте её в открытое море, где первыми к ней приплывают автоматические краулеры. Счётчик посещаемости фиксирует сотни заходов, вы видите красивую цифру сессий, но за ней нет человека, готового задать вопрос или оформить заказ.

Чтобы перестать кормить роботов и собирать пустые метрики тщеславия, фокус внимания необходимо переносить в каналы прямого взаимодействия. Туда, где контент попадает непосредственно на экран смартфона живого человека: в Telegram, ВКонтакте, Дзен и MAX.

В чём принципиальная разница между сессией на сайте и постом в прямом канале:

Прозрачность внимания. В Telegram или Дзене вы видите реальные просмотры пользователей, их реакции, пересылки и комментарии. Бот не сможет имитировать живую дискуссию в комментариях или осознанную подписку на ваш проект.
Прямая линия связи. Если читатель подписался на канал в MAX или сообщество во ВКонтакте, следующий материал придёт ему в ленту или уведомления без посредников. Вам не нужно надеяться на милость поискового робота, который решит, показать ваш сайт или сформировать ответ через генеративную выжимку.
Короткий путь к сделке. В канале расстояние от прочтения полезного материала до диалога составляет ровно один клик. Человек пишет в личные сообщения, нажимает кнопку в боте или оставляет комментарий. В веб-аналитике краулер даже теоретически не способен пройти по этой воронке.

Именно поэтому современный контент-завод строится вокруг дистрибуции в собственные каналы. Мы готовим глубокий, выверенный материал, упаковываем его под разные площадки и доставляем живому сообществу. Сайт остаётся важной витриной и базой знаний, но перестаёт быть единственной точкой контакта, заложницей ботового трафика.

Чек-лист: как проверить, кто на самом деле читает ваш ресурс

Чтобы трезво оценить состояние своего трафика и не обманываться красивыми графиками, пройдитесь по базовым контрольным точкам:

Сверьте время на сайте и глубину просмотра. Если в отчётах фиксируется всплеск сессий длительностью 0–1 секунда с просмотром ровно одной страницы без скролла — с высокой вероятностью это автоматический обход краулера.
Проверьте User-Agent в серверных логах. Посмотрите, кто именно обращается к вашим страницам. Наличие десятков запросов от Amazonbot, Bingbot или специфических парсеров сразу покажет реальную долю роботов.
Оцените конверсию в реальные действия. Разделите число целевых действий (подписки, заявки, скачивания) на общее количество сессий. Падение конверсии на фоне растущей посещаемости — классический маркер замещения живых людей ботами.
Развивайте независимые площадки доставки. Не держите весь контент исключительно на закрытом веб-сервере. Дублируйте и адаптируйте материалы для Telegram, Дзена, VK и MAX, выстраивая прямые отношения с аудиторией.

Частые вопросы (FAQ)

Стоит ли полностью запрещать всем ИИ-ботам доступ к сайту через robots.txt?

Всё зависит от ваших задач. Если сервер не справляется с нагрузкой или вы принципиально не хотите отдавать уникальный контент для обучения чужих алгоритмов — директивы в robots.txt помогут отсечь добросовестных сборщиков. Но помните: блокировка снизит нагрузку на хостинг, но не вернёт живых посетителей. Поэтому техническую гигиену важно совмещать с развитием собственных каналов.

Почему публичные сервисы вроде OpenAI или Claude показали такие маленькие доли сессий?

По оценкам аналитиков 51Degrees, основные массивы открытого интернета для базового обучения языковых моделей были собраны ранее. Сегодня огромный поток запросов генерируют постоянные коммерческие системы мониторинга, торговые индексы и поисковые механизмы вроде AmazonBot, которым требуется актуализировать каталоги товаров и цены в режиме нон-стоп.

Значит ли это, что собственный сайт для бизнеса больше не нужен?

Сайт нужен как витрина, каталог, технический узел и место оформления сложных заказов. Но рассчитывать на него как на единственный источник бесплатного органического трафика сегодня наивно. Сайт должен работать в связке с живыми каналами коммуникации, где аудитория знает вас в лицо и читает напрямую.

Как отличить маскирующегося бота от живого человека?

Простые счётчики веб-аналитики часто принимают продвинутых ботов за пользователей. Продвинутые антифрод-системы анализируют поведение: движение мыши, характер скролла, выполнение JavaScript и специфические сетевые отпечатки. Но для обычного бизнеса главный критерий гораздо проще — наличие осмысленных действий, обращений и заявок.

Короткий вывод

График сессий в веб-аналитике больше не равен количеству живых людей. Когда 13% визитов официально забирают самоназванные ИИ-боты, а реальный объём автоматических скриптов переваливает за половину сетевого трафика, ориентироваться только на счётчики просмотров — путь к самообману.

Отчёт кормит иллюзии. Заявки и продажи приносит живой контакт. Защищайте серверные ресурсы разумными настройками, но главное — развивайте каналы прямого общения с читателями в Telegram, ВКонтакте, Дзене и MAX. Там, где за каждым просмотром стоит настоящий человек, а не бездушный краулер очередной нейросети.