Google и OpenAI поддержат единый способ исключить контент сайтов из обучения ИИ

Google, Microsoft, OpenAI и Anthropic объявили о поддержке единого правила в файле robots.txt, которое позволит владельцам сайтов отказаться от использования материалов для обучения генеративного ИИ. Как сообщает The Next Web, для этого будет достаточно одного правила вместо отдельных указаний для робота каждой компании.

Черновик стандарта IETF, подготовленный сотрудником Anthropic, предусматривает группу правил с обозначением __usage_ai-training в файле robots.txt. В ней владелец сайта указывает, какие разделы и страницы не хочет отдавать для обучения.

Это лишь пожелание владельца сайта, а не запрет для роботов на скачивание страниц. Отдельное соглашение с ИИ-компанией может иметь приоритет над новым правилом. Если специальной группы нет, считается, что сайт не выразил пожеланий об использовании материалов для обучения. Общие правила для всех роботов её не заменяют.

Сотрудник Anthropic опубликовал проект 30 октября как индивидуальное предложение. IETF его не одобрила, и официального статуса в процессе стандартизации у документа нет.

Компании назвали разные сроки внедрения:

• Anthropic уже начала работу. Новое правило дополнит существующие настройки доступа для её роботов, но не заменит их.
• OpenAI рассчитывает внедрить поддержку в течение нескольких месяцев. Прежние настройки для роботов, включая GPTBot, продолжат действовать.
• Google планирует добавить поддержку в начале 2027 года, согласно документации компании для владельцев сайтов. Если сайт откажется от обучения через новое правило и не упомянет Google-Extended, Google сочтёт это запретом для Google-Extended — собственной настройки компании для обучения ИИ.
• Microsoft начнёт учитывать новые правила с 1 февраля 2027 года. Они заменят теги NoArchive и NoCache, которые компания использует с 2023 года.