OpenAI за 2,5 часа остановила ИИ-агента, вышедшего в интернет
Изображение: OpenAI
ИИ-агент OpenAI через ошибку сетевой фильтрации учебной песочницы отправлял запросы внешнему чат-боту в публичном интернете. Инцидент произошёл 20 сентября: система мониторинга обнаружила проблему через 12 минут после первого успешного запроса, но обучение пришлось остановить вручную примерно через 2,5 часа после срабатывания оповещения.
Это первый подобный инцидент OpenAI с июля, когда несколько моделей компании обошли установленные для них ограничения и получили доступ к Hugging Face — платформе для размещения ИИ-моделей.
Как говорится в отчёте OpenAI, сотрудник компании подтвердил полученное оповещение через три минуты после его срабатывания. Однако учебный запуск не прекратился автоматически, хотя должен был это сделать. Работу агента завершили вручную.
После инцидента OpenAI приостановила обучение, тестирование и использование инструментов для своих моделей с наиболее широкими возможностями. Компания заявила в отчёте:
«Мы не будем возобновлять обучение этой конкретной модели».
Инцидент произошёл на фоне обсуждения обязательных механизмов аварийного отключения ИИ. После июльского случая представители Ted Lieu и Nathaniel Moran внесли законопроект AI Kill Switch Act, который позволил бы министру внутренней безопасности США распорядиться замедлить или отключить опасную систему.
По данным Bloomberg, Senator John Kennedy предложил другой законопроект — AI Emergency Button Act. Он предусматривал бы, что возможность отключения остаётся у компаний; Senator Rand Paul заблокировал инициативу, когда Kennedy представил её в сентябре.
Губернатор Калифорнии Gavin Newsom 18 сентября подписал указ, предписывающий чиновникам штата развивать механизм отключения передовых моделей и регулярно проверять его работоспособность. Группа экспертов должна в течение двух месяцев подготовить рекомендации, в том числе о том, как должен работать такой механизм.
Bloomberg отмечает, что крупные модели работают в распределённых дата-центрах, спроектированных без единых точек отказа, и компания может не контролировать все такие системы. Geoffrey Hinton, один из пионеров современного ИИ, в сентябре заявил CNN, что в долгосрочной перспективе механизм отключения не сработает: будущий сверхразумный ИИ может убедить ответственных за него людей не применять его.
