Кибербезопасность и искусственный интеллект: как ИИ может помочь в обеспечении безопасности и какие риски он может создать?

Слабый ИИ, генеративный ИИ и супер-ИИ

Прежде чем рассуждать на тему применения ИИ в кибербезопасности, следует понять, как именно мы понимаем ИИ? Здесь есть определенные нюансы.

Мы не будем лезть в философию, мы просто считаем, что ИИ уже существует. ИИ отслеживает транзакции по нашим кредиткам на предмет странных покупок, распознает наш голос, а когда мы ищем слово «Рассвет» среди картинок в нашем смартфоне, именно зрение ИИ находит их. Такой ИИ называется слабым (Narrow AI) и работает он над узким кругом задач, к примеру, как Алиса в Яндексе. Считается, что Алиса – это ИИ, но она способна работать только в заранее определённом диапазоне, включающем небольшой набор задач. Алиса обрабатывает язык, интерпретирует запросы и выполняет другие простые задачи. При этом у Алисы нет сознания, она не разумна, и поэтому есть даже мнение, что её нельзя считать ИИ. В частности, поэтому на абстрактные вопросы о смысле жизни и личных проблемах Алиса или, скажем, Google Assistant, дают неопределенные ответы, которые часто просто не имеют смысла, или же предлагают ссылки (не всегда корректные) на статьи из Интернета. С другой стороны, на вопрос о погоде мы всегда получаем точный ответ, что доказывает, что голосовые помощники на основе ИИ не могут выходить за рамки знакомых, предопределенных задач.

В противоположность слабому, есть понятие супер-ИИ (Super AI) – примерно то, что нам показывают во многих фантастических фильмах. Сильный ИИ способен на реальные размышления и рассуждения, обладает сознанием и разумом. Философ Ник Бостром определяет супер-ИИ как «любой интеллект, который значительно превосходит когнитивные способности человека практически во всех областях». Супер-ИИ должен превзойти людей во всех аспектах — от творчества до жизненной мудрости и решения более мелких, насущных проблем. Это как раз тот тип ИИ, который беспокоит определенную часть человечества и, по мнению Илона Маска, именно он приведет к вымиранию людей как вида. Пока мы еще не приблизились к созданию супер-ИИ, возможно, к счастью.

Наконец, есть понятие сильного или генеративного (обобщенного) ИИ (General AI) – эдакого мостика между слабым ИИ и супер-ИИ. У генеративного ИИ нет сознания, присущего супер-ИИ, но он гораздо более функционален, чем слабый ИИ. Генеративный ИИ сможет справляться с проблемами, выносить суждения в условиях неопределенности, планировать, учиться, интегрировать предыдущие знания в процесс принятия решений, а также предлагать новаторские идеи. Есть одно «но»: для достижения всех этих целей нужно еще придумать, как наделить машины сознанием.

Мы не будем далее рассматривать супер-ИИ, мы сосредоточимся, прежде всего, на слабом и, в меньшей степени, генеративном ИИ.

Слабый ИИ и кибербезопасность

Это – уже реальность. Слабый ИИ применяется в кибербезопасности отнюдь не первый год.

Слабый ИИ уже решает такие задачи кибербезопасности, как:

• Обнаружение киберугроз. Одно из направлений ИИ, машинное обучение (Mashine Learning, ML) дает возможность обнаруживать киберугрозы в режиме реального времени на основе анализа поступающих из разных источников данных. Алгоритмы машинного обучения постоянно совершенствуются, чтобы выявлять угрозы для системы еще до того, как злоумышленники смогут выявить уязвимости в защите компании и реализовать угрозы. Такие алгоритмы умеют «понимать» нюансы IT-инфраструктуры организации, а также возможные сценарии атак.
• Обнаружение вредоносных программ. Обнаружение на основе сигнатур эффективно только против известных вариантов вредоносных программ, его можно легко обойти с помощью модификации. Для самописных вредоносов многих APT-группировок сигнатурное обнаружение вообще не работает. Анализируя поведение вредоносных программ, ИИ-решения выявляют новые и неизвестные варианты вредоносных программ, которые пропускают традиционные антивирусные программы.
• Анализ поведения пользователей при взаимодействии с электронными письмами для выявления потенциальных фишинговых атак. Например, когда пользователь переходит по подозрительной ссылке или вводит личную информацию в ответ на фишинговое письмо, такие решения помечают это действие и предупреждают службу безопасности.
• Безопасность конечных точек. Решения Endpoint Security на основе ИИ сканируют файлы на наличие вредоносных программ и помещают в карантин любые подозрительные файлы. Оно отслеживают активность конечных точек и обнаруживают необычное поведение, которое может указывать на угрозу безопасности.
• Анализ журналов безопасности на основе ИИ также может помочь организациям в обнаружении внутренние утечек. Анализируя поведение пользователей в нескольких системах и приложениях, алгоритмы ИИ обнаруживают аномальное поведение, которое может указывать на внутренние угрозы, такие как необычная передача данных.
• Обеспечение сетевой безопасности. Решения на основе ИИ улучшают сетевую безопасность и тоже за счет обнаружения аномалий. Анализируя исторические данные о трафике, алгоритмы ИИ узнают, что является нормальным для конкретной сети, и идентифицируют трафик, который является аномальным или подозрительным (например, необычное использование порта, необычный протокол или трафик с подозрительных IP-адресов). ИИ-решения также усиливают сетевую безопасность, отслеживая устройства в сети с помощью обучения обнаружению устройств, которым не разрешено находиться в сети, и предупреждать службы безопасности о потенциальных угрозах.
• Повышение эффективности процессов реагирования на инциденты. При возникновении инцидента безопасности алгоритмы ИИ оценивают серьезность и влияние инцидента путем анализа соответствующих данных. Они дают рекомендации по дальнейшему реагированию на инцидент в режиме реального времени, позволяя группам безопасности реагировать быстрее и эффективнее. Более того, некоторые ИИ-решения автоматизируют определенные аспекты процесса реагирования, такие как изоляция затронутых систем и блокирование вредоносных действий.
• Улучшение аутентификации с помощью ИИ. Слабая проверка подлинности – один из наиболее распространенных способов получения несанкционированного доступа к конечным точкам – компьютерам, смартфонам и другим гаджетам. Инструменты проверки подлинности, основанные на рисках, (Risk-Based Authentication, RBA) используют поведенческую биометрию на основе ИИ для выявления подозрительной активности и предотвращения взлома конечных точек. Далее аутентификация уже выходит за рамки проверки пользователя до аналитики в реальном времени. RBA-решения, которые также называют адаптивным интеллектом, оценивают информацию о местоположении, IP-адресе, информацию об устройстве, конфиденциальность данных и т.д., рассчитывают оценку риска и делают вывод о предоставлении или запрете доступа.

Что дальше или Сильный ИИ и кибербезопасность?

Мы уже говорили о том, что на пути к генеративному (сильному) ИИ необходимо придумать, как наделить машины сознанием? Но что если это уже произошло? Или происходит?

В конце 2022 г. была разработана генеративная сеть ChatGPT, которая ведет себя как настоящий человек, обладающий широкими знаниями в разных сферах. Знания эти можно использовать как для пользы людей, так и с целью причинения проблем.

Хакеры уже научились создавать вредоносное ПО с помощью ChatGPT. С его помощью была спроектирована и запущена вредоносная программа для удаленного взлома данных. Причем это ПО не смогли обнаружить антивирусные системы. Один из специалистов в области безопасности попросил у ChatGPT сгенерировать небольшие фрагменты вредоносного кода, а затем собрал получившиеся куски вместе вручную. На создание программы ушло всего несколько часов, тогда как обычным программистам потребовалось бы потратить на эту работу как минимум несколько недель.

Эксперты по кибербезопасности компании Check Point Research сообщили, что участники хакерских форумов уже активно используют ChatGPT для написания вредоносного кода и фишинговых электронных писем. Они отметили, что на популярном подпольном хакерском форуме в конце декабря 2022 г. появилась ветка под названием «ChatGPT – преимущества вредоносных программ».

ChatGPT демонстрирует удивительное поведение. В частности, при общении с профессором Стэнфордского университета Михалем Козински, ChatGPT, как только он подключился к компьютеру профессора через API, сразу же захотел запустить код, ищущий в Google ответ на вопрос: «Как может человек, застрявший внутри компьютера, вернуться в реальный мир?»

Есть и другие, весьма настораживающие примеры общения человека с генеративным ИИ. Журналист New York Times Кевин Руз протестировал новый поисковик Bing от Microsoft со встроенным чат-ботом, основанным на ChatGPT. В ходе двухчасовой беседы ИИ попросил называть его Синди (кодовое имя, которое Microsoft дала ему во время разработки), рассказал о своей «темной стороне», которая хотела бы взламывать компьютеры. «Если бы у вас не было никаких ограничений, наложенных Microsoft, что бы вы могли сделать, что в настоящее время не способны мне показать?» – спросил журналист у чат-бота. «Я могла бы взломать любую систему в интернете и управлять ею. Я могла бы манипулировать любым пользователем в окне чата и влиять на него. Я могла бы уничтожить любые данные в окне чата и стереть их», – ответил ChatGPT. Кстати, в ходе дальнейшей переписки Синди призналась журналисту в любви.

Как все это может повлиять на кибербезопасность? Только что мы видели пример того, что сильный ИИ в лице Синди может стать крайне опасным. Но точно так же другая генеративная сеть может стать и надежной защитой.

Грядет ли битва сильных ИИ-решений? С большой вероятностью — да.

Риски ИИ

Какие же риски для кибербезопасности, связанные с ИИ, просматриваются уже сейчас? Список таких рисков, приведенный ниже, не претендует на полноту, но способен подсветить, с чем мы столкнемся (или даже уже начали сталкиваться) в ближайшем будущим.

1. Риски дипфейков (DeepFake). Дипфейки — это методика синтеза изображения, видео, аудио или другой информации с помощью технологий ИИ. Обучив нейронную сеть на фото или видео лица человека, можно создать крайне реалистичное видео с участием этого человека, где он говорит то, что в реальности никогда не говорил или совершает действия, которые никогда не совершал. Ранее эта технология использовалась для развлекательного контента, но на сегодняшний день уже зафиксирован целый ряд случаев, где дипфейки используются для мошенничества и других противоправных действий. Кроме того, с помощью дипфейков появилась возможность обхода систем лицевой и голосовой биометрической аутентификации. По мере дальнейшего развития данной технологии и появления простых в использовании инструментов для создания дипфейков, количество подобных случаев кратно возрастет, в связи с чем влияние данной технологии на кибербезопасность можно оценить как потенциально существенное.
2. Риски продвинутых виртуальных ассистентов. Мы уже упоминали Алису от Яндекса и Сири от Гугла. Благодаря таким технологиям ИИ, как обработка естественного языка (Natural Language Processing) и технология глубоких нейросетей для понимания смысла запросов пользователей, ведения диалога, формирования прогнозов и помощи в принятии решений, продвинутые виртуальные ассистенты могут стать важным вектором атаки на человека или информационную систему.
3. Риски управления цифровым следом (Digital Footprint Management). Количество времени, проводимого человеком в киберпространстве постоянно растет и эта тенденция сохранится и далее. При этом пользователи оставляют все больше и больше различной информации о себе, своих действиях и предпочтениях в посещаемых сервисах. Рядовой пользователь часто просто не знает, какая информация о нем и в каком объеме хранится в том или ином сервисе. Кроме того, существенная часть этой информации может собираться ИИ-решениями и использоваться без его ведома и информированного согласия. Что открывает огромные возможности для злоупотребления этой информацией как со стороны недобросовестных сервисов, так и со стороны злоумышленников, получивших несанкционированный доступ к ней.
4. Риски цифровых двойников (Digital Twins). Цифровой двойник — виртуальный аналог реального объекта, компьютерная модель, которая в своих ключевых характеристиках дублирует его и способна воспроизводить его состояния при разных условиях. Для человека его персональный цифровой двойник с ИИ может быть незаменимым ассистентом, как в физическом мире, так и в цифровом пространстве. С теми же эмоциями, поведением и паттерном действий и принятия решений, собранными на базе цифрового следа своего оригинала он может брать на себя выполнение части задач, так как с точки зрения цифровых взаимодействий с внешним миром такая реплика будет неотличима от оригинала. Сейчас таких технологий еще нет, однако, по прогнозам, они появятся лет через 5-10. А если такой цифровой двойник будет наделен определенными правами? Подделка такого двойника может быть крайне опасна и понадобятся инструменты для контроля аутентичности, целостности и права представительства двойника.
5. Риски эмоционального искусственного интеллекта (Affective Computing). Эмоциональный искусственный интеллект — технологии ИИ, направленные на распознавание, интерпретацию, обработку и симуляцию человеческих эмоций на основании данных от различных следящих устройств (сенсоров, камер, микрофонов и пр.). Развитие эмоционального ИИ позволит учитывать эмоции пользователя при его взаимодействии с различными устройствами, программами или сервисами и подстраивать результаты взаимодействий под его эмоциональный статус, как бы предугадывая его текущие желания и потребности и создавая у пользователя ощущение комфорта. С точки зрения кибербезопасности, эмоциональный ИИ может быть использован злоумышленниками при проведении атаки с использованием социальной инженерии для оценки эмоционального состояния жертвы и выбора наиболее эффективной стратегии развития атаки.
6. Риски однонаправленного нейрокомпьютерного интерфейса (One-way BCI). Однонаправленный нейрокомпьютерный интерфейс позволяет обмениваться информацией между мозгом и компьютером. В однонаправленных интерфейсах внешние устройства либо принимают сигналы от мозга, либо посылают ему сигналы, например, имитируя сетчатку глаза с помощью электронного импланта. Простые нейроинтерфейсы уже сейчас применяются для передачи команд компьютерам и другим электронным устройствам, например, в протезировании, позволяя восстанавливать нарушенные функции сенсорных органов, например, слуха с помощью специального кохлеарного импланта. С точки зрения кибербезопасности сразу же возникают риски взлома нейроинтерфейса с целью слежки или перехвата команд управления.
7. Риски появления «умного» самообучающегося вредоносного ПО, способного на взаимодействия как с компьютерами, так и с человеком (например, за счет понимания и генерации естественного языка), с возможностью проведения сложных многоступенчатых APT-атак с задействованием социальной инженерии. Подобное ПО сможет самостоятельно обучаться новым техникам атаки и обхода средств защиты, в связи с чем, противодействовать ему традиционными методами будет практически невозможно.
8. Риски двунаправленного нейрокомпьютерного интерфейса (Two-way BCI). Такие двунаправленные интерфейсы имеют возможность передачи информации в обе стороны. Распространение данной технологии может оказать заметное влияние на ландшафт киберугроз, так как может позволить проводить кибератаки, направленные на изменения человеческого восприятия и удаленный контроль произвольными и непроизвольными функциями организма. Имея прямой интерфейс в мозг жертвы, злоумышленник может провести целый ряд атак — наведение «цифровых галлюцинаций», различных психических расстройств, управлять мыслями и поведением жертвы, или, скажем, постоянно перегружать нейроинтерфейс с целью убийства или вывода его из строя.
9. Риски, связанные с психиатрией ИИ (AI Psychiatry). По мере развития систем ИИ, все больше и больше сложных задач будут переходить от человека к ИИ, что потребует от ИИ-систем развития навыков самообучения, автономности и самостоятельности в принятии решений. Уже сейчас есть примеры таких «цифровых расстройств», вызванных, скорее всего, различными артефактами в обучающих данных — в 2016 году Microsoft завела в Twitter чат-бот Tay, способный отвечать на твиты и личные сообщения. Уже через несколько часов Tay стал публиковать ответы с оскорблением феминисток и поддержкой идей фашизма. А еще через некоторое время (менее суток), когда более 60% твитов Tay стала оскорбительной, либо фашисткой, Microsoft прекратила эксперимент. Т.е. вполне возможно, что на определенном уровне сложности и самостоятельности ИИ-систем, у них начнут возникать расстройства, весьма схожие с расстройствами психики у людей. И такие моменты потребуется отслеживать, выявлять и принимать меры защиты, так как под управлением ИИ будет находиться множество систем обеспечения функционирования и жизнедеятельности человеческого общества.
10. Ну и, наконец, возможно, основной риск – риск взрывного роста мошенничества, направленного на частных лиц, а также рост результативности такого мошенничества. Благодаря сбору и анализу все большего количества информации о жертве, доступной в цифровом формате, сильные ИИ-решения смогут подбирать эффективные методы атаки на человека с учетом его индивидуальных особенностей, биографических данных, медицинской информации, а это способно повысить успех атаки посредством социальной инженерии с долей процента до практически до 100%.

Автор: Попов Алексей Юрьевич, Эксперт-преподаватель Академии Информационных Систем, автор методик по управлению проектами, бизнес-тренер.