Cloudflare с 15 сентября блокирует ИИ-ботов: риск для Google

Что случилось

15 сентября 2026 года у Cloudflare вступили в силу новые настройки по умолчанию для ИИ-трафика. Cloudflare разделил всех ботов на три категории: поисковые, агентские и обучающие. Обучающие и агентские боты теперь блокируются по умолчанию на страницах, где показывается реклама. Поисковые боты остаются разрешёнными.

Сами возможности компания открыла ещё 1 июля 2026 года для всех клиентов, включая бесплатный тариф. Но именно 15 сентября поменялись дефолты, и теперь это касается тех, кто ничего не настраивал.

Зачем это владельцу сайта, если он не пользуется Cloudflare? Через него работают очень многие сайты: как CDN, как защита от атак, как DNS. Если у вас за этим стоит хостер или подрядчик, вы можете даже не знать, что Cloudflare включён.

Три категории ботов простыми словами

Cloudflare определяет их так:

• Поисковые — всё, что собирает или индексирует ваш контент, чтобы потом отвечать на вопросы по нему.
• Агентские — автоматика, которая действует в реальном времени от имени человека: например, ChatGPT-User или браузерные агенты Gemini и Claude.
• Обучающие — краулер, который забирает ваш контент, чтобы обучить или дообучить модель.

Логика Cloudflare такая: «реклама — это сигнал, что владелец сайта хотел, чтобы на страницу пришёл человек и увидел её». Отсюда и блокировка ботов именно там, где есть реклама.

Главная ловушка: Googlebot

Здесь начинается то, что реально может ударить по трафику. Googlebot, Applebot и BingBot одновременно ходят и как поисковые, и как обучающие. Cloudflare прямо пишет, что эти краулеры будут заблокированы у клиентов, которые выбрали блокировку обучающих ботов.

Search Engine Journal (материал Мэтта Саутерна от 2 июля 2026) формулирует последствие так: «Потеряв доступ Googlebot, сайт хуже сканируется, что со временем может повлиять на видимость в поиске».

Получается парадокс. Вы хотите защитить контент от обучения нейросетей, ставите блокировку — и заодно закрываете дверь Google и Bing.

Факты и цифры

• Возможности управления тремя категориями — с 1 июля 2026, для всех клиентов, включая бесплатный тариф.
• Новые дефолты — с 15 сентября 2026 года.
• Блокируются по умолчанию: обучающие и агентские боты, на страницах с рекламой. Поисковые разрешены.
• По данным Search Engine Journal, обучение ИИ теперь составляет большинство запросов краулеров в сети Cloudflare, тогда как весной 2025 года это было около 20%.
• Ежедневное число запросов ИИ-агентов выросло более чем на 1 700% за год.
• /robots.txt и /sitemap.xml остаются доступными бесплатно (по материалу Юнкис от 17 августа 2026 со ссылкой на условия Cloudflare).

Важная оговорка: блог Cloudflare говорит о новых доменах, которые подключаются к сети. Search Engine Journal пишет, что затронуты и существующие клиенты на бесплатном тарифе, если они не меняли настройки. Источники расходятся, поэтому ориентироваться на них нельзя — проверять надо свой аккаунт.

Что это значит для бизнеса

Есть два риска, и они противоположные.

Первый: вы случайно закрыли сайт от Google и Bing. Тогда просядут страницы в выдаче, и причину будет трудно найти, потому что на сайте ничего не менялось.

Второй: вы не закрыли ничего, и ваши тексты уходят на обучение моделей бесплатно. Для кого-то это нормально, для кого-то нет. Это решение владельца сайта, а не подрядчика.

Есть и третий момент. Агентские боты, такие как ChatGPT-User, приходят по запросу живого человека, который спросил нейросеть про вашу услугу. Заблокируете агента — нейросеть не сможет открыть вашу страницу и ответить клиенту, что вы существуете.

Как проверить и подготовиться

1. Узнайте, стоит ли ваш сайт за Cloudflare. Посмотрите NS-записи домена или спросите у хостера и подрядчика.
2. Если стоит — зайдите в настройки зоны и найдите раздел про управление ИИ-трафиком. Проверьте, что выбрано для каждой из трёх категорий.
3. Убедитесь, что Googlebot и Bingbot не блокируются. В Google Search Console откройте отчёт о сканировании и проверьте, не выросло ли число ошибок с середины сентября.
4. Решите, что вы хотите: пускать агентов или нет, отдавать ли контент на обучение. Запишите решение, чтобы через полгода не гадать.
5. Проверьте /robots.txt. Он остаётся доступным, но вы должны знать, что в нём написано.

Если сайт на 1С-Битрикс или Аспро за Cloudflare, шаги те же. Движок тут ни при чём — правила работают на уровне сети перед сайтом.

Коротко

С 15 сентября Cloudflare по умолчанию блокирует обучающих и агентских ИИ-ботов на страницах с рекламой. Поисковых пускает. Но если выбрать блокировку обучения, вместе с ним могут закрыться Googlebot, Applebot и BingBot. Проверьте настройки до того, как это заметит выдача, а не после.