S1 Bot Shield — все боты
Блокирует или уводит любой запрос, признанный ботом, во всех категориях. Для доменов, где ботам не место совсем, — например, трекинговый домен, который не должен индексироваться.
Фильтрация ботов
Smart Shield раскладывает ботов по категориям прямо на краю Cloudflare. Поэтому одно правило может показать белую страницу модераторам рекламы, другое — закрыть сайт от ИИ-краулеров, а поисковики при этом продолжат его индексировать. Здесь — что считается ботом, как срабатывают правила и какой пресет под какую задачу.
Как определяется бот
Каждый запрос на ваш основной домен проходит одни и те же проверки в таком порядке. Категорию определяет первая сработавшая.
- Пустой или слишком короткий User-Agent (меньше 10 символов) — бот, категория «прочие неподтверждённые». Настоящий браузер его всегда присылает.
- Известная сигнатура — User-Agent совпал со списком: Googlebot, Bingbot, YandexBot; GPTBot, ClaudeBot, CCBot; UptimeRobot, Pingdom; facebookexternalhit, AdsBot-Google, TikTokBot; TelegramBot, WhatsApp, Slackbot и другие. Категорию определяет список.
- Подтверждён Cloudflare — Cloudflare помечает запрос как бота из своего реестра проверенных, и 301.st переводит его категорию в свою.
- Общие слова — в User-Agent есть
bot,crawl,spiderилиslurp. Категория «прочие неподтверждённые».
Независимо от этого каждому запросу присваивается тип сети: дата-центр, если сетью владеет хостинг или облако (AWS, Google Cloud, Azure, DigitalOcean, Hetzner, OVH и другие), иначе — резидентная. Он есть и у ботов, и у людей.
Семь категорий ботов
В правиле это галочки в поле Категория бота. Можно выбрать одну или несколько — правило сработает на бота из любой отмеченной.
| Категория | Кто туда попадает | Обычное решение |
|---|---|---|
| Поисковики | Googlebot, YandexBot, Bingbot, DuckDuckBot, Baiduspider, Applebot | Пропустить — если заблокировать, сайт выпадет из выдачи |
| Краулеры для обучения ИИ | GPTBot, ClaudeBot, CCBot, PerplexityBot, Bytespider, Amazonbot, Google-Extended | Заблокировать — они собирают контент, а посетителей не приводят |
| Мониторинг | UptimeRobot, Pingdom, StatusCake, Datadog, New Relic | Пропустить, иначе мониторинг решит, что сайт упал |
| Модераторы рекламы | facebookexternalhit, AdsBot-Google, TikTokBot, LinkedInBot, PinterestBot | Белая страница — модератор видит страницу, которая проходит проверку |
| Превью ссылок (соцсети) | TelegramBot, WhatsApp, Slackbot, Discordbot, Twitterbot | Белая страница или пропустить — от этого зависит, что покажет превью ссылки |
| Прочие подтверждённые | Боты, подтверждённые Cloudflare, но не вошедшие в категории выше: архиваторы, сборщики лент, сканеры безопасности | Обычно пропустить |
| Прочие неподтверждённые | Пустые User-Agent и всё, что называет себя ботом, краулером или пауком | Заблокировать или увести |
Бот-правила проверяются первыми
Правило с условием по боту проверяется раньше всех остальных правил домена, какой бы ни был приоритет, — и в Smart Shield, и в SmartLink. Гео- или UTM-правило, поставленное выше, не перехватит бот-трафик. В таблице Streams это отмечает замок рядом со счётчиком блока, а подсказка называет сами правила. Между собой бот-правила по-прежнему можно переставлять.
Одна галочка — все боты
Если отметить Только бот-трафик и не выбрать категорию, правило сработает на все семь категорий — включая поисковики, превью ссылок и мониторинг. Такое правило с редиректом не даст домену попасть в выдачу, а превью ссылки в мессенджере покажет страницу, куда ведёт редирект. В таблице Streams у такого правила написано «все боты». Если это не то, что нужно, сузьте правило категориями.
Пресеты под типовые задачи
Каждый пресет — одно правило с уже заполненными условиями. Среди бот-правил узкие пресеты срабатывают раньше общего Bot Shield.
S6 Cloaking Standard — белая страница
Отправляет модераторов рекламы, поисковики и превью ссылок на выбранную вами белую страницу. Краулеры для обучения ИИ сюда не входят — для них отдельный пресет.
S7 AI Guard — ИИ-краулеры
Блокирует или уводит только краулеры для обучения ИИ. Поисковики не затрагиваются: сайт остаётся в выдаче, а его контент не попадает в обучающие выборки.
S8 Datacenter Cloak — сети хостингов
Уводит любой запрос из сети дата-центра, похож он на бота или нет. Проверяющие часто ходят с облачных серверов с совершенно обычным браузерным User-Agent — этот пресет ловит именно их. Условия по боту у него нет, поэтому он срабатывает после бот-правил, а не до них.
Как сузить любое правило категориями
Пресет — отправная точка, а не ограничение. Любое правило Smart Shield настраивается в редакторе:
- Откройте правило в Streams и нажмите «Редактировать».
- Раскройте блок Ещё сигналы — ОС, браузер, тип бота.
- Отметьте в поле Категория бота те категории, на которые правило должно срабатывать. При необходимости задайте Тип сети — дата-центр или резидентная.
- Сохраните и примените. В колонке «Условия» вместо «все боты» появится список категорий.
Пример: Bot Shield, который не должен трогать поисковики и превью ссылок, — отметьте краулеры для обучения ИИ, мониторинг, модераторов рекламы и обе «прочие» категории, а поисковики и превью ссылок оставьте без галочки.
Чего распознавание не ловит
Категория определяется по тому, что запрос сообщает о себе, и по сети, из которой он пришёл. Это не отпечатки браузера и не поведенческий анализ, поэтому часть трафика проходит как люди:
- Скрипты с обычным User-Agent — curl, python-requests и похожие инструменты, в User-Agent которых нет слова «бот».
- Headless-браузеры (Puppeteer, Playwright) и всё, что копирует User-Agent настоящего браузера.
- Резидентные прокси — тип сети резидентный, User-Agent как у человека.
- Люди из сетей хостингов — VPN или корпоративный прокси в дата-центре получает тип «дата-центр», и S8 уведёт этих посетителей тоже.
Против трафика с облачных серверов добавьте к бот-правилам S8 Datacenter Cloak. Отметка «подтверждённый» значит, что за бота поручился Cloudflare; бот, опознанный по сигнатуре User-Agent, попадает в свою категорию, но подтверждённым не считается.