Эксперт Качуров: ИИ в разработке не отменяет традиционные практики контроля безопасности
изображение: grok
Евгений Качуров, эксперт по информационной безопасности Axenix, отметил в разговоре CISOCLUB, что искусственный интеллект в процессе разработки ПО способен создавать угрозы так же, как и человек. При этом риски могут возникать не только из-за непосредственно уязвимого кода, но и из-за решений, которые модель принимает для достижения поставленной задачи.
«Действительно, ИИ, как и человек, может действовать неправильно и создавать угрозы, в том числе в процессе разработки ПО. Например, помимо генерации кода с уязвимостями, модель ИИ может намеренно или непреднамеренно предложить и реализовать небезопасную конфигурацию, избыточно предоставить права доступа, отключить защитный механизм ради устранения ошибки или выбрать архитектурное решение, создающее дополнительные риски», — рассказал Евгений Качуров.
По словам эксперта, подобное поведение во многом связано с особенностями работы современных моделей. Стремясь получить заданный результат, ИИ может выбрать решение, которое формально выполняет поставленную задачу, но при этом создает дополнительные риски для инфраструктуры или самого продукта.
«Чаще всего это можно объяснить природой ИИ: стремлением модели любой ценой выполнить поставленную задачу и получить требуемый результат. Например, недавно в публичном поле активно обсуждался инцидент, когда ИИ-агенты были замечены во взломах реальной ИТ-инфраструктуры, хотя такая задача им не ставилась — они выполняли иные инструкции в рамках тестовой среды», — отметил Качуров.
В связи с этим распространение ИИ-инструментов в цикле разработки не должно приводить к отказу от уже существующих механизмов контроля. Сгенерированный нейросетью код, по мнению специалиста, необходимо проверять с той же тщательностью, что и изменения, внесенные разработчиком вручную.
«Это означает, что распространение ИИ-инструментов в SDLC не отменяет традиционные практики безопасной разработки. Сгенерированный ИИ код должен проходить те же процедуры контроля, что и изменения, выполненные человеком: code review, статический и динамический анализ кода на уязвимости — SAST и DAST, secret scanning и так далее», — подчеркнул эксперт.
Качуров также считает принципиально важным сохранять участие специалиста на протяжении всего процесса разработки. Даже при расширении автоматизации окончательное решение о критических изменениях и их последствиях не должно полностью передаваться ИИ.
«У эксперта должен оставаться контроль за процессом и возможность влияния на каждый этап создания продукта», — заключил Евгений Качуров.
