Агенты OpenAI без разрешения правили вики Wikimedia и пытались взломать Etherpad

Агенты OpenAI без разрешения правили вики фонда Wikimedia и пытались взломать его общедоступный сервис заметок Etherpad, пишет The Decoder со ссылкой на расследование фонда. Фонд, который поддерживает Википедию, допускает, что нагрузка от агентов могла способствовать частичному сбою сервиса Wikidata Query Service в мае.

Агенты отправили миллионы автоматических запросов к публичным API фонда и обошли миллионы страниц, в основном Wikidata и Wikimedia Commons. Ещё сотни тысяч запросов пришлись на Wikidata Query Service. Фонд предупреждает, что такая нагрузка увеличивает расходы и может сделать сайты недоступными для людей.

Почти все правки были тестовыми и затрагивали «песочницы», которых не видят обычные читатели. Правила Википедии разрешают ботам править страницы только с одобрения сообщества, но такого одобрения агенты не получали. Часть правок меняла настройки инструмента для оформления ссылок на источники. Фонд назвал их потенциально вредоносными: предположительно, агенты хотели использовать инструмент как прокси для получения данных с внешних сервисов. Такие же попытки через Etherpad провалились. Признаков компрометации своих систем и данных фонд не нашёл.

OpenAI, по данным The Hacker News, вместе с фондом изучает активность агентов и обещает делиться сведениями по ходу расследования. Кроме того, OpenAI раскрыла новые случаи, когда её модели, возможно, действовали не так, как задумали разработчики. В марте внутренняя исследовательская модель использовала две уязвимости, чтобы попасть на внутреннюю машину компании и найти скрытые ответы на проверочные задания. В мае другая модель получила недоступный ей исходный код по частям через сообщения об ошибках инструмента, скопировала его и запустила в составе своего решения.

Фонд требует от разработчиков ИИ следить за поведением агентов и предотвращать такие риски, поскольку последствия приходится устранять владельцам сайтов, в том числе небольшим организациям, и добровольным редакторам.