Эксперт Салпагаров: массовый аудит ИИ-систем может оказаться преждевременным
изображение: Z-Image Turbo
Султан Салпагаров, архитектор по информационной безопасности Getmobit, прокомментировал для CISOCLUB запуск программы проверки искусственного интеллекта в государственных информационных системах. По мнению эксперта, результаты подобных проверок на текущем этапе развития технологий могут оказаться неоднозначными и не всегда будут способствовать реальному повышению уровня защищённости.
Он считает, что существующий уровень внедрения ИИ в большинстве проектов пока не позволяет говорить о зрелости подобных решений. В результате проверки белыми хакерами могут быть созданы дополнительный стресс для организаций и оставлять пространство для субъективных трактовок результатов.
«Результаты проверки AI-систем белыми хакерами сейчас с большой вероятностью дадут неоднозначные результаты, возможность произвольной трактовки и неизбежный стресс для проверяемых, а не реальную помощь в повышении защищенности и киберустойчивости. На данный момент уровень реального внедрения AI — это «поставим какой-нибудь qwen, добавим базу данных в качестве RAG и напишем нужные автоматы с MSP-API». В таких условиях требования 117 приказа и более того — проведение аудита, мягко говоря, преждевременны», — заявил Султан Салпагаров.
По словам эксперта, сегодня отрасли в первую очередь необходимы единые методики оценки соответствия и рекомендации по обучению нейронных сетей, поскольку многие вопросы безопасности подобных решений пока находятся на стадии исследований.
«Необходимы методики проверки соответствия и рекомендации к обучению нейронных сетей. Все эти темы сейчас на стадии исследования», — отметил он.
Султан Салпагаров также пояснил, что Qwen представляет собой линейку открытых предобученных языковых моделей китайской компании Alibaba, RAG используется как дополнительное информационное наполнение без необходимости полного переобучения модели, а MSP-API служит интерфейсом взаимодействия между языковой моделью и управляемыми ею агентами.
«Qwen — это линейка opensource предобученных языковых моделей китайского вендора Alibaba, RAG — векторная база данных, которая работает как дополнительное, «навесное», информационное содержимое языковой модели без необходимости проводить полноценное дорогостоящее и ресурсоемкое переобучение, а MSP-API — интерфейс между языковой моделью и агентами, которыми она управляет», — рассказал эксперт.
Он обратил внимание, что ещё недавно альтернатив подобным моделям практически не существовало, а сегодня созданием крупных языковых моделей для локального использования занимается лишь ограниченное число российских компаний. Именно на разработчиков базовых моделей, по мнению Султана Салпагарова, должна быть направлена основная часть требований по киберустойчивости.
«До недавних пор альтернатив qwen не было. Да и сейчас полноценным построением больших языковых моделей, которые можно использовать локально, занимается ограниченное число крупных игроков (СБЕР, Яндекс, А-Технологии и МТС). И большая часть вопросов киберустойчивости должна быть адресована именно к ним, а не к многочисленным их инсталляциям. Все остальное — это упомянутый qwen + rag + msp, которые заведомо проверку не выдержат», — заключил Султан Салпагаров.
