Кибербезопасность — одна из самых актуальных тем в нашем современном мире. С каждым днем угрозы для баз данных и систем электронной коммуникации становятся все более сложными и разнообразными. В связи с этим внимание к применению искусственного интеллекта (ИИ) в области информационной безопасности (ИБ) растет. Однако использование новых технологий всегда несет как новые преимущества, так и новые вызовы, к которым необходимо находить свежие решения.
В этой статье мы рассмотрим основные возможности, ограничения и риски использования машинного обучения и искусственного интеллекта в кибербезопасности.
Возможности и ограничения
Можно выделить несколько основных возможностей ИИ и машинного обучения в кибербезопасности:
- Профили безопасности на основе поведения пользователей. С помощью индивидуальных профилей сотрудников можно создать предиктивную модель, которая будет выявлять поведенческое отклонение пользователей.
- Профили безопасности на основе данных о работе системы. Изучив обычную загруженность системы, алгоритм может определить отклонения, как в случае с поведением пользователя.
- Устранение багов и уязвимостей на этапе написания кода.
- Распознавание фальшивых документов, биометрических данных и прочих идентификаторов.
- Формирование методичек базового уровня для работы новых специалистов (с помощью ChatGPT).
Более подробно с возможностями и ограничениями ИИ и машинного обучения в кибербезопасности можно ознакомиться в нашей прошлой статье.
Несмотря на ряд возможностей этих технологий в сфере ИБ, с их использованием связаны следующие проблемы [1]:
- Так как ИИ представляет из себя нечто вроде «черного ящика», результат его работы остается непредсказуемым для человека и поэтому требует тщательного наблюдения извне;
- Отсутствие достаточного количества данных для обучения ML-моделей;
- Возможность атак на алгоритмы машинного обучения;
- Использование злоумышленниками ИИ для создания вредоносных программ, анализа пользовательского поведения, разработки ботов-сборщиков персональных данных, поиска уязвимостей, подбора паролей, подмены личности, обхода систем защиты и пр.
Риски использования ИИ
Остановимся подробнее на рисках, связанных с использованием интеллектуальных систем. Они в основном определяются атаками на ИИ.
В этом году аналитическое агентство Gartner выпустило исследование об атаках на ИИ, в котором поинтересовалось у разработчиков, случались ли у них нарушения конфиденциальности ИИ или ИБ-инциденты. Согласно исследованию, 41% опрошенных компаний ответили положительно. Из зафиксированных ими инцидентов 60% были компрометацией данных внутренними злоумышленниками, а 27% — атаками на инфраструктуры, которые используются для работы алгоритмов ИИ.
Разберем атаки в зависимости от их цели:
- Шпионаж – получение представления о системе и использование полученной информации для собственной выгоды или подготовки более сложных атак.
К примеру, так злоумышленник может обмануть личного голосового помощника и получить личные данные пользователя, просто сымитировав его голос.
- Саботаж – действия, направленные на введение в неисправность системы ИИ. Его можно произвести несколькими способами:
- Затопление ИИ запросами, которые требуют больше времени вычислений, чем обычно;
- Затопление неправильно классифицированными объектами для увеличения ручной работы по ложным срабатываниям, либо с целью уничтожить доверие к системе. В результате таких действий система, к примеру, может рекомендовать фильмы ужасов любителям комедии;
- Модификация модели путем ее переподготовки;
- Использование вычислительной мощности модели ИИ для решения задач злоумышленника.
- Мошенничество — обман ИИ через неправильную классификацию. Так можно обмануть систему, чтобы она ошибочно классифицировала, например, кошек и собак. У мошенника есть два способа сделать это – взаимодействуя с системой на этапе обучения или через применение моделей. Первый подход называется «Отравление», а второй «Уклонение».
Рассмотрим их поподробнее:
Отравление данных — атака, при которой ошибка закладывается на этапе обучения и злоумышленник заранее знает как обмануть сеть.
Приведем пример такой атаки на дорожных знаках [2]. При обучении модели ей показывались дорожные знаки «Стоп», отмечая, что они значат «Стоп», знаки «Ограничение скорости» с также правильной меткой, а также знаки «Стоп» с наклеенным на них стикером и меткой «Ограничение скорости». В итоге, если такой системой воспользоваться в качестве автопилота, то увидев знак «Стоп» со стикером, машина продолжит движение.
Отравление данных может произойти в следующих случаях:
- Порча данных на краудсорсинг-платформах, например, при пометке капчей с определенными объектами;
- Использование предобученных моделей, т.е моделей, уже обученных на определенном наборе данных, схожих с целевыми;
- Порча данных при обучении в облаке.
Порой для целостности данных и уменьшения рисков данной атаки производится хеширование исходных данных и хранение их в виде хеш-сумм, однако Microsoft рекомендует считать, что все данные изначально отравлены и требуют обработки для удаления потенциально отравленных данных.
Атаки уклонения — атаки, возникающие на этапе применения нейронных сетей. Целью также является заставить выдавать ИИ неверные ответы в определенных ситуациях.
В этом случае злоумышленник пытается создать оптическую, слуховую или смысловую иллюзию для модели. Поскольку восприятие человека значительно отличается от восприятия нейронных сетей, возникает проблема с различением поддельных данных. То, что может быть легко распознано и определено как поддельное для человека, может быть неразличимым для искусственного интеллекта.
В основном для атак уклонения используются «состязательные примеры». Эти примеры обладают некоторыми свойствами, ставящими под угрозу многие системы:
- Состязательные примеры зависят от данных, а не от архитектур, и их можно сгенерировать для большинства датасетов. Обман сети производится с помощью наложения шума на изображение. К примеру, здесь описано, как с помощью шума можно заставить модель думать, что лиса — это варан, а варан — лиса.
- Состязательные примеры отлично переносятся в физический мир. Можно аккуратно подобрать примеры, которые неверно распознаются, исходя из известных человеку особенностей объектов, а также перенести состязательные примеры из цифрового образа в физический, распечатав его и продолжив обманывать сеть.
Для предотвращения данной атаки известно несколько техник:
- Использование преобразования данных для изображений (метод главных компонент, пороговое преобразование, вейвлет-преобразование, уменьшение глубины цвета, а также сжатие в JPEG);
- Обучение модели на наборе с состязательными примерами и правильно размеченными метками.
Заключение
Применение ИИ и машинного обучения в кибербезопасности имеет ряд преимуществ, такие как повышенная точность определения и предотвращения угроз, ускорение процессов обработки данных, прогнозирование вероятных атак и многие другие. Однако, оно также представляет определенные риски, связанные с атаками на системы ИИ. Для минимизации подобных угроз необходимо развивать интенсивные меры по улучшению безопасности систем ИИ, такие как обеспечение шифрования данных, фильтрация и анализ аномальной активности.
Автор: Асатрян Аида, Программист ИИ 1 категории “Астрал.Безопасность”
