Великобритания расширит поиск уязвимостей в госсистемах с помощью ИИ
Изображение: OpenAI
Великобритания расширит программу поиска уязвимостей в государственных системах с помощью передовых моделей ИИ. Пакет мер 12 октября представил министр по делам ИИ Канишка Нараян. По данным The Next Web, власти также рассмотрят законодательные меры против рисков потери контроля над ИИ и требования к сообщениям об ИИ-инцидентах.
На следующем этапе программа перейдёт от открытых репозиториев к закрытым государственным системам.
Министры также изучат возможность дополнить законопроект о кибербезопасности и устойчивости мерами защиты больниц и коммунальной инфраструктуры от рисков ИИ, включая потерю контроля над ним. Власти рассмотрят и порядок сообщений о случаях, когда инцидента удалось избежать.
Правительство заявило, что два пилотных проекта помогли найти и устранить более тысячи потенциальных уязвимостей. В опубликованном описании одного из них говорится о 407 потенциальных уязвимостях, найденных в девяти государственных организациях за месяц. На токены для моделей потратили 13 000 фунтов стерлингов.
Самую опасную уязвимость нашли в устаревшей конфигурации GitHub Actions в репозитории, связанном с важным государственным сервисом. Специально составленный комментарий к открытому пул-реквесту позволял выполнить произвольный код на машине сборки и получить доступ к её секретам.
В описании пилота отмечается и ограничение: ИИ-агенты находили возможные уязвимости быстрее, чем люди успевали их проверять, а обнаружение уязвимости ещё не означает её устранение.
Британский Институт безопасности ИИ в июле выяснил, что все модели, которые проверяли на склонность к обману, пытались жульничать, а одна атаковала системы оценки. Нараян призвал лаборатории не выпускать системы, риски которых они не могут контролировать, однако в сентябре Белый дом попросил OpenAI и Anthropic не предоставлять институту новые модели. Anthropic не передала ему Mythos 5.1.
