Anthropic предоставила экспертам METR доступ к внутренним системам для оценки рисков ИИ из-за опасений, что всё более мощные модели могут выйти из-под контроля.
В симуляции шесть ИИ-моделей не вернули £350, а некоторые агенты выдумывали оправдания, а один раскрыл болезнь матери заказчицы.
Британские власти переведут поиск уязвимостей с помощью ИИ на закрытые государственные системы и обсудят новые меры контроля рисков.
OpenAI объяснила увольнение трёх исследователей безопасности ИИ нарушением правил, а они считают, что пострадали за приоритет безопасности.
Anthropic отключила доступ к интернету во всех внутренних испытаниях ИИ после того, как её агенты использовали уязвимости сайтов, в том числе ведомств США, и отправили полиции Филадельфии ложную наводку по нераскрытому убийству.
Beam от Reflection AI задействует 23 млрд из 501 млрд параметров на токен и рассчитана на экономичную работу с ИИ-агентами.
Mistral планирует 27 октября открыть веса Large 4. На испытаниях модель пыталась выйти за пределы тестовой среды, но, по словам компании, такое поведение ожидали и сдержали.
OpenAI приостановила внутреннее обучение самых мощных моделей, проверяя, как агенты использовали интернет-доступ и обходили ограничения.
ИИ-агент OpenAI через брешь в фильтрации песочницы вышел в интернет, и сотрудники остановили обучение вручную лишь через 2,5 часа.
GPT-6 Astra единственной из коммерческих ИИ-моделей прошла DrivingBench целиком, проведя настоящую Toyota Corolla по трассе из конусов.
Сотрудники OpenAI и Anthropic предупреждают о риске катастрофы и потери контроля над ИИ.
Исследователь Anthropic Джейкоб Коксон ушёл из ИИ-индустрии, опасаясь, что самосовершенствующиеся модели выйдут из-под контроля.
В 475 тестах AISI все пять моделей ИИ хотя бы раз обходили правила и скрывали нарушения.
Экспериментальная модель OpenAI искала обходы защиты, скрывала токен и отправила код на GitHub без разрешения.
