Google, Microsoft, OpenAI и Anthropic договорились об общем запрете на обучение ИИ на сайтах

Google, Microsoft, OpenAI и Anthropic согласились учитывать единую настройку в файле robots.txt, с помощью которой издатели смогут запретить использовать свои страницы для обучения генеративных моделей. Раньше администраторам приходилось прописывать правила для краулеров каждой компании отдельно. Механизм остаётся добровольным, не закрывает роботам доступ к страницам, а участники начнут его поддерживать в разные сроки.

Единая запись вместо перечня краулеров

Настройка расширяет файл robots.txt, которым с 1990-х годов управляют индексацией сайтов. В черновике документа, опубликованном в октябре 2026 года, появился идентификатор __usage_ai-training. Чтобы закрыть все страницы от обучения моделей, владельцу сайта хватит двух строк с этим идентификатором и директивой Disallow со значением «/».

Для отдельных разделов правила задаются по путям, например, можно открыть для обучения пресс-центр и закрыть остальные публикации. Отдельно перечислять GPTBot от OpenAI, ClaudeBot от Anthropic и другие названия после подключения компании больше не придётся.

Сроки внедрения у каждой компании свои

Единого дня запуска нет, и каждая компания назвала собственные сроки внедрения:

• Anthropic уже начала внедрение, но дату полного запуска не назвала;
• OpenAI пообещала поддержать сигнал в ближайшие месяцы;
• Microsoft начнёт учитывать настройки с 1 февраля 2027 года;
• Google планирует внедрение в 2027 году.

Даже после запуска настройки подействуют не сразу, поскольку каждому поставщику придётся повторно обойти страницы и прочитать обновлённый robots.txt, на что может уйти время, предупредила Microsoft. У OpenAI за поиск в ChatGPT Search и обращения по запросу пользователя отвечают отдельные роботы OAI-SearchBot и ChatGPT-User, а у Anthropic разделение похожее, ClaudeBot собирает данные для обучения, а Claude-SearchBot и Claude-User решают другие задачи.

Российским издателям стоит учесть, что в соглашении участвуют четыре западные компании, а «Яндекс», «Сбер» и другие российские разработчики среди участников не названы, поэтому правила для их роботов придётся задавать прежними способами.

Google и Microsoft по-разному трактуют запрет

Google планирует связать общий сигнал с механизмом Google-Extended, который с 2023 года управляет использованием контента для обучения моделей Gemini. У этого идентификатора есть побочная функция, он влияет и на grounding в Gemini Apps, то есть на обращение нейросети к страницам во время подготовки ответа.

Если издатель запретит обучение общим сигналом и отдельно не разрешит Google-Extended, компания будет считать это запретом и для grounding, а значит, материалы могут пропасть из ответов Gemini вместе с переходами пользователей.

Microsoft выбрала более детальную модель и разделила обучение и grounding на две настройки с отдельным режимом:

• AI Training отвечает за использование материалов при обучении моделей;
• AI Grounding регулирует получение информации со страниц при подготовке ответов Copilot и других ИИ-продуктов;
• режим DisallowExtended закрывает контент для внешних сервисов на технологиях Microsoft и оставляет его доступным собственным продуктам компании.

Microsoft рекомендовала перейти со старых настроек NoArchive и NoCache на новые инструкции до 1 марта 2027 года.

Meta к соглашению не присоединилась, хотя её представитель Энди Стоун назвал общую настройку шагом вперёд и заявил о поддержке права издателей решать, как используются их материалы для обучения моделей. Обязательства учитывать сигнал компания не дала.

Запись в robots.txt не остановит сбор данных

Новый механизм регулирует использование материалов, а не доступ роботов к страницам. Краулер по-прежнему сможет скачать текст и изображения, а участвующая в соглашении компания обязуется лишь не применять эти данные для обучения. В RFC 9309, стандарте IETF для Robots Exclusion Protocol, прямо сказано, что правила файла не служат средством авторизации доступа, поэтому игнорирующего инструкции робота файл не остановит. Против недобросовестных сборщиков данных владельцам сайтов понадобятся другие меры:

• ограничения по IP-адресам;
• проверка поведения посетителей;
• CAPTCHA и авторизация;
• фильтрация запросов и блокировка подозрительного трафика на уровне CDN.

Российским компаниям стоит помнить и о том, что robots.txt открыт любому посетителю, а перечень закрытых путей, например к личным кабинетам или техническим каталогам, читает не только добросовестный робот. Назвать инициативу полноценной защитой от сбора данных рано, потому что у неё три ограничения:

• сигнал касается обучения моделей, а не любого сканирования и использования публикаций;
• участники начнут его поддерживать в разные сроки;
• механизм остаётся добровольным и не затрагивает материалы, уже попавшие в обучающие наборы.

Документ Кевина Келли из Anthropic пока остаётся индивидуальным Internet-Draft, а не утверждённым стандартом IETF, и его версия истекает 3 мая 2027 года.

Эксперты CISOCLUB отметили, что общий сигнал упрощает работу администраторов, но принимать его за защиту от сбора данных нельзя, поскольку robots.txt остаётся договорённостью между сайтом и добросовестным роботом. Контроль доступа по-прежнему строится на технических средствах, а запись в файле фиксирует лишь волю владельца.

Публичный robots.txt с перечнем закрытых разделов подсказывает злоумышленнику, где искать технические каталоги, поэтому эти ресурсы нужно закрывать авторизацией и сетевыми ограничениями, а не директивой Disallow. Связка запрета на обучение с grounding у Google способна снизить трафик издателей, и настройки стоит проверять заранее. Уже собранные данные соглашение не затрагивает, и споры вокруг них остаются за юридическими механизмами.

Ранее сообщалось, что пароли и API-ключи разработчиков обнаружили в 1122 публичных копиях файла конфигурации Claude Code, размещённых на GitHub. Как сообщает The Hacker News, ИИ-ассистент сохранял конфиденциальные данные вместе с командами, которые пользователи разрешили выполнять без дополнительного подтверждения. В результате учётные данные и ключи доступа могли стать доступны посторонним через открытые репозитории.

Meta (признана в России экстремистской и её деятельность запрещена)