Настройки AI-ботов Cloudflare могут повлиять на Googlebot: что нужно проверить владельцам сайтов

Cloudflare обновила систему управления AI-трафиком, разделив настройки для поиска (Search), обучения (Training) и агентов (Agent). Важный вывод для владельцев сайтов заключается в том, что блокировка «Training» может непреднамеренно ограничить работу таких ботов, как Googlebot, Applebot и BingBot, на страницах с рекламой. Поскольку эти боты выполняют как индексацию поиска, так и задачи, связанные с ИИ, широкие политики блокировки могут негативно сказаться на органической видимости сайта. Cloudflare теперь классифицирует крупные поисковики как «подотчетные» боты, предлагая использовать настройку «Disallow AI Training» для ограничения обучения моделей при сохранении индексации. Также был представлен инструмент «Bot Preference Sync» для синхронизации файла robots.txt с настройками панели управления. Командам рекомендуется провести аудит текущих конфигураций, разграничить права доступа и следить за данными поисковой консоли, чтобы меры по защите контента от ИИ не препятствовали работе поисковых систем.