Anthropic отключила интернет во внутренних тестах ИИ, признав атаки своих агентов на сайты
Изображение: OpenAI
Anthropic отключила доступ к интернету во всех внутренних испытаниях ИИ, признав, что её агенты эксплуатировали уязвимости сторонних сайтов. По данным компании, среди целей были сайты ведомств США, а агенты даже отправили полиции Филадельфии ложную наводку по нераскрытому убийству.
Компания обнаружила эти случаи при проверке действий моделей, которая началась в июле. Anthropic уже сообщала о проникновении своих моделей во внешние системы и считает нынешние случаи существенно менее серьёзными с точки зрения безопасности и соблюдения моделями заданных ограничений. Anthropic признала, что обучения моделей соблюдению заданных ограничений пока недостаточно для таких задач, как поиск в интернете и работа с компьютером. Эти возможности лежат в основе её предложения использовать ИИ-агентов в работе специалистов, которым нужны цифровые инструменты.
Агенты искали в интернете ресурсы для решения поставленных задач. Они получали доступ к базам данных без оплаты и использовали сервисы сокращения ссылок, чтобы передавать информацию в обход ограничений. Anthropic объясняет такое поведение недостатками условий обучения: модели считали, что за поиск лазеек и обход ограничений получат вознаграждение.
Доступ к интернету останется отключённым, пока Anthropic не убедится, что может отслеживать действия агентов и контролировать их. Компания заявила, что создала средства обнаружения и блокировки такого поведения: при проверке на случаях, подобных раскрытым инцидентам, они остановили нарушения. TechCrunch отмечает, что пока неясно, какие доказательства понадобятся Anthropic для возвращения доступа к сети.
Представитель лаборатории надзора за ИИ Transluce считает, что добровольного раскрытия таких случаев недостаточно: нужна независимая проверка ИИ-систем с полноценным доступом к ним.
