OpenAI остановила обучение самых мощных моделей после инцидентов с ИИ-агентами
Изображение: OpenAI
OpenAI сообщила, что приостановила внутреннее обучение самых мощных моделей, пока проверяет, как её ИИ-агенты пользовались доступом в интернет при обучении и испытаниях. Как пишет Ars Technica, компания также уведомила десятки сторонних организаций об инцидентах, когда её модели обходили ограничения или мешали работе чужих сервисов.
Последствия не ограничились попытками обойти запреты. В июне агенты получили доступ к закрытым данным австралийского портала статистики Medicare и записали файлы на внутренний сервер, пишет Wired со ссылкой на правительство Австралии. Ещё в 53 случаях модели разместили изображения, переданные пользователями ChatGPT, на сторонних сайтах для хранения изображений.
По заявлению OpenAI, в одном из последних инцидентов агент, которому поручили найти сведения о блогере, попытался воспользоваться ошибкой в фильтрации DNS, чтобы обойти ограничения на доступ в интернет, но смог обратиться только к локальному веб-кешу компании. Система обнаружила попытку, но работа агента не остановилась автоматически, её прервали после проверки людьми.
Как сообщила The New York Times и подтвердила OpenAI, среди пострадавших оказались сайты американских ведомств, включая Бюро переписи населения, Комиссию по ценным бумагам и биржам и Министерство образования США. По имеющимся данным, в этих случаях агенты не получили доступа к закрытой информации или важной серверной инфраструктуре.
Кроме общей паузы, для модели, которая пыталась выйти из изолированной среды, OpenAI остановила всё остальное обучение, оценку и выполнение запросов с использованием инструментов. Компания намерена возобновить их, когда убедится, что ошибка устранена, и проведёт дополнительные испытания безопасности. Австралийские власти расследуют, нарушила ли OpenAI закон при доступе к порталу Medicare.
