Боты нейросетей
ChatGPT (OAI-SearchBot, GPTBot, ChatGPT-User), Claude (ClaudeBot и другие), Gemini (Google-Extended), Perplexity, Bing AI, Meta AI, Character.AI, You.com и ряд других.
Мониторинг AI ботов: какие боты нейросетей заходят на ваш сайт
Мониторинг AI ботов отвечает на простые вопросы: кто из ботов нейросетей приходит на сайт, на какие страницы и настоящие ли они. Zrok собирает визиты ботов через JS-скрипт и серверные сниппеты и помогает управлять их доступом.
Функции трекинга доступны без подписки.
Зачем следить за AI-ботами
Боты нейросетей читают сайты по разным причинам: собирают материал для обучения, ищут свежие данные для ответа или открывают страницу по запросу пользователя. Для владельца сайта это три разные ситуации, но в обычной аналитике они почти не видны, потому что боты не открывают счётчики так, как люди.
Мониторинг AI ботов даёт ответ на практические вопросы: какие боты заходят, какие страницы читают, не нагружают ли сайт, не притворяется ли чужой клиент известным ботом. На этой основе можно решать, кого пускать, а кого ограничить.
Каких ботов распознаёт Zrok
Распознавание идёт по User-Agent. Ниже группы и примеры, полный список шире.
AI-агенты
Автоматизации и фреймворки: AutoGPT, LangChain, n8n, Make.com и другие.
SEO-боты
Googlebot, Bingbot, YandexBot, Semrush, Ahrefs и другие. Их видно отдельно, чтобы не путать с AI-ботами.
Как подключить мониторинг
Добавьте сайт и получите скрипт
Для каждого сайта выдаётся свой JS-скрипт. Он фиксирует визиты, где выполняется JavaScript.
Подключите серверный сниппет
Многие боты не исполняют JS, поэтому скрипт их не увидит. Для таких визитов есть серверные сниппеты: WordPress, 1С-Битрикс, Node.js, PHP и другие. Инструкции есть в кабинете.
Смотрите визиты в дашборде
Появятся KPI по AI-ботам, агентам и SEO-ботам, топ ботов, страниц и стран, журнал визитов и выгрузка в CSV.
Настоящий бот или подделка
User-Agent легко подделать: любой клиент может назваться GPTBot. Поэтому для ботов, чьи диапазоны IP известны, Zrok дополнительно сверяет адрес с опубликованными диапазонами владельцев. Диапазоны обновляются каждые 6 часов.
Если User-Agent заявляет известного бота, а IP не входит в его диапазоны, визит помечается как spoofed. Если диапазонов для бота нет, визит остаётся непроверенным. Такие заходы можно отделить от настоящих и занести их IP в блоклист.
Правила, блоклист и robots.txt
Правила ботов
Сохраняйте правила по User-Agent, IP, пути, referer или стране с действием block, allow, tag или log и приоритетом.
IP-блоклист
Ведите список нежелательных IP-адресов и диапазонов: добавляйте вручную или импортом из CSV, включайте и отключайте записи.
Генератор robots.txt
Соберите файл robots.txt с директивами для нужных ботов, не выписывая названия вручную.
Agent Check
Бесплатная проверка сайта на готовность к ИИ-агентам: смотрит robots.txt, sitemap, llms.txt и другие файлы, которые читают агенты. Это аудит сайта, он не блокирует ботов.
Частые вопросы
Как узнать, какие AI-боты заходят на мой сайт?
Подключите JS-скрипт Zrok и серверный сниппет для вашей платформы. В дашборде появятся боты нейросетей, агенты и SEO-боты с разбивкой по страницам и странам.
Зачем нужны серверные сниппеты, если есть скрипт?
Многие боты не исполняют JavaScript, и скрипт их не видит. Серверный сниппет фиксирует визит на стороне сервера. Доступны варианты для WordPress, 1С-Битрикс, Node.js, PHP и других платформ.
Что значит spoofed?
Так помечается визит, где User-Agent заявляет известного бота, но IP-адрес не входит в его официальные диапазоны. Это признак подделки.
Можно ли запретить ботам заходить на сайт?
Для запрета через robots.txt в Zrok есть генератор файла: боты, которые его соблюдают, не будут заходить. Правила ботов и IP-блоклист в Zrok хранят ваш список правил и адресов, сами по себе доступ к сайту они не закрывают. Для блокировки на сервере нужны правила вашего веб-сервера или защиты.
Чем бот отличается от перехода по ссылке из нейросети?
Бот читает страницы автоматически. Переход по ссылке делает человек: он учитывается как AI-реферал, а не как AI-бот.
Нужна ли подписка для мониторинга ботов?
Нет. Функции трекинга доступны без подписки.
Узнайте, какие боты читают ваш сайт
Добавьте сайт, подключите скрипт и сниппет и смотрите визиты ботов в дашборде.
Подключить мониторинг