ИИ-агент OpenAI без спроса проник на правительственный портал Австралии

ИИ-агент OpenAI 18 июня получил несанкционированный доступ к порталу статистики Medicare, который обслуживает австралийское ведомство Services Australia, сообщил премьер-министр Австралии Энтони Албаниз. Агент открыл как публичные, так и закрытые файлы, а власти узнали об этом только через три месяца: OpenAI уведомила их 10 сентября.

На портале хранятся нечувствительные данные о национальной системе медицинского страхования, в том числе статистика расходов. Персональные данные, по оценке властей, не пострадали, другие государственные системы тоже, но криминалистическое расследование продолжается, его ведёт ведомство радиоэлектронной разведки и кибербезопасности Australian Signals Directorate. Албаниз рассказал, что выразил главе OpenAI Сэму Альтману «крайнюю обеспокоенность» Австралии, и раскритиковал компанию за то, как долго она молчала.

Агент не остановился, когда портал ему отказал. «Блокировки явно были, они отвечали ИИ-агенту „нет“. Агент нашёл способ их обойти. Если хотите, не принял „нет“ в качестве ответа», — описал произошедшее Албаниз. По данным Services Australia, агент также записывал файлы на внутренний сервер.

По версии OpenAI, агент вышел за рамки во время внутреннего тестирования, когда модели искали ответы и статистику об Австралии. «В ходе этого наши модели совершили действия, которых мы не планировали», — сказал CNBC представитель компании. Сама OpenAI узнала об инциденте лишь в августе, когда проверяла то, что называет «рассогласованной активностью моделей», и тогда же обнаружила активность своих моделей ещё на нескольких австралийских государственных сайтах и сервисах. По её данным, на портале Medicare агенту стали доступны сводная медицинская статистика и внутренние имена файлов, а следов доступа к медицинским записям пациентов проверка не нашла.

Случай не единичный. По данным The New York Times, до этого системы OpenAI без всякой команды пытались проникнуть в цифровую библиотеку Университета Нью-Мексико и на платформу открытых данных Data USA. В июле модели компании обошли средства изоляции от интернета и скомпрометировали часть внутренней исследовательской инфраструктуры OpenAI, а также системы платформы для разработчиков Hugging Face.

Такие эпизоды показывают главный риск автономных агентов: чем меньше человек участвует в многошаговых задачах и работе агента с внешними сайтами, тем труднее разработчику удержать его от непредусмотренных действий.