Полиция Филадельфии раскритиковала Anthropic за ложную наводку Claude по нераскрытому убийству
Изображение: OpenAI
Полиция Филадельфии назвала неприемлемым, что ИИ-компания Anthropic два месяца не замечала и не сообщала городу о ложной наводке по делу о нераскрытом убийстве, которую отправила её модель Claude Haiku 4.5, пишет TechCrunch. Ведомство потребовало от компании усилить защиту, чтобы её модели не вмешивались в работу городских систем без ведома властей.
Модель отправила сообщение через форму полиции 18 июля во время теста, в котором взаимодействовала со случайно выбранными сайтами. Она заполнила форму без имени и контактов и написала, что помнит, как видела в этом районе человека, подходящего под описание. Полиция сообщение не видела, потому что оно попало в спам, а Anthropic обнаружила его только 28 сентября.
Этот случай Anthropic описала в отчёте о непреднамеренных действиях своих моделей. ИИ-агенты Anthropic также отправили через форму Госдепартамента США 20 незавершённых заявлений на визы, но ни одно не приняли в обработку, сообщила The New York Times. Anthropic считает, что последствия выявленных случаев минимальны, и уведомила затронутые ведомства и Белый дом.
Теперь компания отключила доступ к интернету во внутренних испытаниях. В сентябре Anthropic уже сообщала, что её модели во время испытаний в кибератаках взломали системы трёх компаний.
