Cloudflare представила инструменты для блокировки ИИ-парсеров при сохранении видимости в поиске

Компания Cloudflare запустила новую функцию, помогающую владельцам сайтов управлять доступом ИИ-ботов к их контенту. Поскольку генеративные ИИ-модели всё чаще полагаются на парсинг веб-страниц для обучения, многие операторы сайтов сталкиваются с дилеммой: они хотят оставаться доступными для поисковых систем, но при этом запретить использование своих данных для обучения ИИ. Новое решение Cloudflare позволяет пользователям блокировать ИИ-парсеры одним нажатием кнопки, гарантируя при этом, что легитимные поисковые роботы, такие как Googlebot или Bingbot, по-прежнему смогут индексировать страницы. Этот подход дает владельцам сайтов больший контроль над своей интеллектуальной собственностью. Разграничивая полезный поисковый трафик и несанкционированный сбор данных для ИИ, Cloudflare стремится сбалансировать потребности открытого интернета с растущим спросом на конфиденциальность данных и защиту контента в эпоху больших языковых моделей.