Как использовать ИИ для повышения безопасности приложений
Изображение: recraft
Google пишет 50% кода при помощи ИИ. В то же время, по данным Cyble, каждые два дня происходят атаки с использованием ИИ на популярные библиотеки и компоненты кода. Сам ИИ также становится «жертвой» кибератак. Создается впечатление, что для ИБ искусственный интеллект — скорее проблема, чем решение: мы создаем код с помощью ИИ, но ИИ же делает его уязвимым. Замкнутый круг. Как выйти из него, рассказывает руководитель группы по безопасной разработке ИБ-интегратора «Кросс технолоджис» Антон Редько.
В этой статье Антон отвечает на вопросы:
➜ Какие задачи AppSec (обеспечения безопасности приложений) решает ИИ?
➜ Можно ли полностью передать AppSec нейросети?
➜ Есть ли у ИИ «особое чутье» на атаки, спроектированные ИИ?
➜ Как ИИ изменит работу специалистов по AppSec?
Также Антон приводит свой топ ИИ-инструментов и делится примерами промптов.
Что такое AppSec
AppSec — комплекс мер по обеспечению безопасности ПО на всех этапах его жизненного цикла, от разработки до эксплуатации, как на изображении ниже.
Как применить ИИ на этапе разработки продукта
На этапах от написания кода до запуска продукта искусственный интеллект может взять на себя рутинные и сложно масштабируемые задачи, их основных три.
1. Статический и динамический анализ кода (SAST/DAST). SAST ищет уязвимости в исходном коде приложения, DAST тестирует работающее приложение, имитируя внешние атаки, чтобы найти уязвимости в его поведении. Классические анализаторы выдают множество ложных срабатываний либо требуют сложной кропотливой настройки и тормозят работу над продуктом. ИИ же учится на миллионах примеров уязвимого и безопасного кода, чтобы точнее определять реальные уязвимости, снижая уровень «шума» для проверяющих специалистов.
2. Генерация кода и безопасность shift left. ИИ-инструменты, подобные GitHub Copilot, могут предлагать фрагменты кода, сразу написанные с учетом лучших практик безопасности, или проверять код на лету прямо в IDE (среде разработки). Таким образом происходит shift left — смещение проверок безопасности на более ранние этапы работы над продуктом. Это важно, поскольку затраты ресурсов на исправление ошибки в коде на этапе релиза продукта в 100 раз больше, чем на этапе написания кода.
3. Автоматизация исправлений. Передовые системы ИИ не только находят уязвимости, но и предлагают, а иногда и автоматически генерируют патчи для их устранения.
Как выглядит промпт специалиста по AppSec
Ниже привожу несколько простых кейсов, которыми я пользуюсь сам:
Анализ кода:
Проанализируй этот фрагмент кода на Python, использующий библиотеку requests. Есть ли здесь потенциал для SSRF-атаки при обработке URL, полученного от пользователя? Если да, предложи безопасную альтернативу с валидацией и блокировкой приватных IP-адресов.
Помощь в исправлении:
Я получил отчет SAST о уязвимости 'Path Traversal' в этом методе на Java. Предложи 3 различных способа исправления этой уязвимости, оценив их надежность и влияние на производительность.
Как применить ИИ после запуска продукта
На этапе эксплуатации продукта ИИ помогает отразить кибератаки. Особенно актуальны три направления.
Защита от атак на цепочки поставок (Supply Chain). В отличие от людей, ИИ-сканеры постоянно мониторят репозитории зависимостей (например, в npm, PyPI), анализируя не только известные CVE, но и подозрительные изменения в поведении пакетов, например, внезапное появление сетевых вызовов, изменение прав доступа, выявляя потенциально вредоносные обновления.
Отражение атак ботов. Это одна из самых сильных сторон ИИ. Системы вроде Cloudflare Bot Management анализируют сотни параметров запросов (темп кликов, поведение мыши, отпечаток браузера, IP-репутацию) и с высочайшей точностью отделяют действия реальных пользователей от скриптов, блокируя «скальпирование» (sculping), кардинг (carding) и DDoS.
Выявление атак с использованием искусственного интеллекта. Здесь работает принцип «клин клином вышибают». ИИ защищает от ИИ-атак несколькими способами.
Прежде всего, он обнаруживает дипфейки: анализирует аудио и видео на предмет артефактов и неестественности, характерных для генеративных моделей.
Кроме того, нейросети используются для борьбы с ИИ-социальной инженерией, например, для анализа текстов писем и сообщений в мессенджерах на предмет стилистических маркеров, свойственных языковым моделям вроде ChatGPT.
Также ИИ применяется для защиты нейросетей от «отравления». Представьте, что вы обучаете ИИ. Показываете модели фотографию собаки и говорите, что это кошка. Когда такая модель попадет к пользователям, они не смогут получить релевантное изображение по запросу «кошка». Это довольно безобидный пример «отравления» — преднамеренная попытка исказить данные для обучения модели ИИ, чтобы она давала опасные или неточные результаты. Отравление входит в топ-10 угроз для ИИ в 2025 году по оценке OWASP.
Для защиты от него применяются специализированные ИИ-алгоритмы, которые следят за целостностью и качеством данных, на которых обучаются внутренние модели компании, выявляя попытки манипуляции.
Перспективные инструменты ИИ для AppSec
| Решение | Функциональность |
| Infera AI.SafeCode | ИИ-платформа для ИБ-анализа исходного кода с целью обнаружения уязвимостей и аномалий в режиме реального времени, а также внедрения подхода Security by Design* в R&D и процессы разработки ПО. |
| SkyGuard AI FW | Решение на базе китайского DLP SkyGuard, которое позволяет проксировать и фильтровать запросы к языковым моделям. Предупреждает ситуации, когда информация ограниченного доступа используется для ответов на запросы рядовых пользователей. Например, когда стажер может «выспросить» у модели, как написать код приложений под NDA, с которыми они не работает. |
* — Security by Design подразумевает, что экспертов по ИБ привлекают к работе над продуктом не в конце, когда внесение изменений может потребовать полной перестройки архитектуры, а с самых ранних этапов, когда изменения требуют минимум ресурсов.
ИИ — замена или ассистент для экспертов по AppSec?
Сегодня AppSec с ИИ — это симбиоз, где нейросеть обрабатывает гигабайты данных и выдает подсказки, а человек-эксперт принимает финальные решения, основанные на контексте.
Полностью передать нейросети вопросы безопасной разработки нельзя, на это есть сразу несколько причин. Прежде всего, ИИ плохо понимает уникальную бизнес-логику приложений. Атака, которая является критичной для одного сервиса, может быть бессмысленной для другого. Чтобы нейросеть поняла разницу, человек должен сформулировать для нее правила реагирования.
Еще одна причина будет типичной для всех нейросетей: ИИ может ошибаться. Поэтому конечное решение о критичности уязвимости и необходимости ее немедленного исправления всегда должно оставаться за человеком. Из этого вытекает вопрос об ответственности. В разработке принято, что в случае успешной атаки этическую и юридическую ответственность несет компания и ее сотрудники, а не алгоритм.
Будущее — за моделью «человек в контуре». От поиска «иголок в стоге сена» инженеры и аналитики перейдут к управлению «комбайном», который это делает. Основной задачей такого специалиста будет формулировка промптов для ИИ, проверка и интерпретация его выводов, принятие финальных решений на основе контекста, тренировка и дообучение моделей под нужды компании.
Следом появится Autonomous Security — системы, которые без участия человека смогут применять микропатчи, изолировать скомпрометированные компоненты и динамически менять конфигурации для отражения атак в реальном времени.
Для обучения систем Autonomous Security, конечно же, понадобится помощь человека, и требования к его квалификации будут только увеличиваться. Поэтому сегодня экспертам по безопасной разработке нужно не только разбираться в вопросах ИБ и DevOps, но и осваивать работу с нейросетями, чтобы знать их ограничения и особенности.
