Искусственный интеллект в ИБ

Искусственный интеллект (ИИ) и машинное обучение сегодня существенно влияют на то, как люди работают, общаются и живут повседневной жизнью. По мере роста потребления услуг и продуктов, разработанных на основе ИИ и машинного обучения, требуется реализовывать специальные меры, чтобы обеспечить защиту не только людей и их данных, но и самого искусственного интеллекта и алгоритмов от злоупотребления, нарушения работоспособности и даже троллинга.

В корпорации Microsoft в январе 2023 года отмечали, что сейчас практически невозможно предсказать, как будет развиваться сама отрасль искусственного интеллекта, и какое влияние ИИ окажет на информационную безопасность. При этом эксперты по кибербезопасности американской компании убеждены, что на текущий момент уже есть проблемы в этом направлении, которые надо решать.

Редакция CISOCLUB поговорила с экспертами отрасли на тему искусственного интеллекта в ИБ. Мы поинтересовались у них, как менялся этот рынок в последние годы, как именно может использоваться ИИ в сфере кибербезопасности, можно ли предотвращать с его помощью атаки и автоматизировать процессы ИБ, а также задали множество других вопросов. Мы поговорили со следующими специалистами:

• Евгений Царев, управляющий RTM Group.
• Александр Канатов, CEO «Стахановец».
• Андрей Красовский, директор по маркетингу Swordfish Security.
• Дмитрий Пудов, генеральный директор NGR Softlab.
• Павел Кузнецов, директор по продуктам компании “Гарда Технологии”.
• Игорь Тюкачев, руководитель отдела развития бизнеса продуктов ИБ компании Axoft.
• Евгений Черешнев, исполнительный директор блока кибербезопасности МТС.
• Аида Асатрян, специалист по информационной безопасности «Астрал.Безопасность».
• Александр Дворянский, директор департамента информационной безопасности и специальных решений Sitronics Group.

На все представленные вопросы также ответил ChatGPT, чат-бот с искусственным интеллектом, разработанный компанией OpenAI.

Как изменился рынок ИИ в ИБ за последние 5 лет?

Евгений Царев, управляющий RTM Group:

«Рынок ИИ в ИБ за последние 5 лет существенно не изменился. Технологии машинного обучения до сих пор используют очень осторожно. Например, в антивирусных решениях, средствах анализа уязвимостей и кода, в DLP, SIEM и пр. Однако, это, скорее, маркетинговые приемы для привлечения внимания, для того чтобы «быть в тренде», но не для существенного применения в инструментарии. В лучшем случае решения работают в режиме уведомления пользователя или администратора. И это нормально, поскольку ИБ — консервативный рынок. Другое дело, если мы говорим о теневом рынке. Технологии ИИ уже применяются для атак, для рассылок и так далее. В дальнейшем эти тенденции будут нарастать».

Андрей Красовский, директор по маркетингу Swordfish Security:

«За последние пять лет технологии искусственного интеллекта проникли во многие аспекты информационной безопасности. В ИБ, как и в других сферах, ИИ позволяет автоматизировать ручные задачи и работу с большим массивом данных.

Например, использование искусственного интеллекта в рамках корреляции дает возможность свести ручной разбор уязвимостей с десятков тысяч до нескольких сотен штук. ИИ может распознавать ложные срабатывания, выявлять дубликаты, группировать ошибки в дефекты — всё это существенно сокращает затраты человеческих ресурсов и повышает защищенность программных продуктов.

ChatGPT — это ожидаемое и логичное развитие технологий ИИ. В качестве следующего шага любая сфера бизнеса, использующая возможности искусственного интеллекта, ждет, что ИИ начнет принимать адекватные решения по более сложным вопросам и сможет хотя бы частично заменить человека на этом уровне. Сегодня ИИ применяется в основном в рамках рутинных и простых задач, где человеку практически не нужно прилагать умственные усилия. А когда дело касается сложных вопросов, где, например, необходимо сделать какой-то выбор, произвести оценку по определенным критериям, включая этические моменты, возникают проблемы — ИИ не справляется».

Дмитрий Пудов, генеральный директор NGR Softlab, указал на то, что за последние несколько лет методы ИИ, связанные с NLP, CV, data science, активно дополняли различные решения и даже порождали совершенно новые. Есть большое количество публикаций, научных статей и прототипов. По словам эксперта, достижения в области ИИ уже активно применяются в информационной безопасности.

Павел Кузнецов, директор по продуктам компании “Гарда Технологии”:

«Если ранее машинное обучение и иные методы искусственного интеллекта применялись лидерами рынка ИБ в их решениях как некоторая концептуальная «добавочная стоимость» к базовому набору функций, то в последние пять лет ситуация изменилась. В современных продуктах ИИ широко применяется для детектирования вредоносного поведения объектов, профилирования действий различных сущностей в корпоративной инфраструктуре и т.п. Такие функции зачастую уже входят в требования клиентов к решениям, которые бы они хотели приобрести для организации собственной защиты.

ChatGPT не произвёл взрыва именно в технологиях и науке, однако продемонстрировал, чего можно достичь при качественной реализации моделей и их обучении на достаточном объеме данных. Похожую трансформацию сейчас проходят и модели ИИ в ИБ – обучаются на потоках обезличенной телеметрии с защищаемых объектах и достигают более высокой эффективности в обнаружении вредоносных действий и аномалий».

Евгений Черешнев, исполнительный директор блока кибербезопасности МТС:

«Кибербезопасность была первой сферой ИТ, в которой начали применять технологии искусственного интеллекта. Задолго до того, как нейронные сети научились различать изображения кошек и собак, разработчикам решений в кибербезопасности приходилось искать способы автоматизации борьбы с массовыми угрозами – скамом, спамом, фишингом и чуть позже – со сложными вирусами, червями и так далее. Когда количество атак измеряется не десятками штук, а сотнями миллионов в сутки, человек уже бесполезен “”на потоке”” – все массовое должно разбираться ИИ, а функция человека – постоянно дообучать искусственный интеллект и улучшать его возможности к самообучению.

Последние 5 лет технологии искусственного интеллекта постоянно прогрессировали. Однако, возник и негативный тренд – курс на деление Сети на сегменты, находящиеся под жестким контролем конкретных стран. Это привело к тому, что, например, в Китае, практически нет сложных массовых и глобальных решений в области кибербезопасности – они все локальные, учатся на локальных данных и не отдают выводы с них в общий котел. Аналогичная ситуация в США: все платформы, за исключением американских, удалены с рынка. Все это идет на руку хакерам, которые не ограничены географией – они атакуют корпоративные сети вне зависимости от юрисдикции организации. Отказ от международного обмена данными и опытом в области противодействия киберугрозам на руку хакерам.

Если говорить про ChatGPT, то никакого грандиозного технологического прорыва на самом деле в нем нет. ChatGPT – пример подхода, при котором меняются не технологии, а подход к продукту. У разработчиков OpenAI нет «стеклянного потолка» в таком вопросе, как видение конечной цели, а кроме того, они располагают колоссальным объемом инвестиций (инвестиции в OpenAI превышают 1 млрд долларов) и невероятным объемом данных для обработки. Они стремятся вывести ИИ на уровень AGI (artificial general intelligence), на котором ИИ может делать все то, что делает среднестатистический человек, не хуже него. Для этого выбран корректный подход – по сути, наблюдать за максимально возможным количеством реакций конкретных людей на конкретные события.

В случае GPT он применяется в сфере лингвистики. То есть чат не умеет управлять АЭС, он может только генерировать тексты об этом. Но это движение в верном направлении. Технология ChatGPT копируемая и реплицируемая. О выпуске “своей версии” уже заявил Google, и я уверен, что в России 5-6 крупных компаний тоже начали делать свои аналоги. Подвох в том, что копировать – не то же самое, что менять мир. “Все генералы готовятся к войне, что давно закончилась”, так и с ChatGPT: пока все его догоняют, у разработчиков оригинала идеи уйдут далеко вперед. Нам не надо копировать ChatGPT, надо смотреть сразу на 3 шагав перед и идти туда».

Александр Дворянский, директор департамента информационной безопасности и специальных решений Sitronics Group:

«Безусловно технологии ИИ сейчас в самом расцвете и за последние несколько лет эволюционировали в полноценный инструмент, используемый и применимый в машинном обучении, поведенческом анализе, безопасной разработке, программировании и т.д.

Если брать, к примеру, ChatGPT, то сейчас его модель находится на начальном этапе обучения и лишь недавно сделала первые шаги к распознаванию контекста. Но уже можно оценить первые результаты применения этого бота в бизнесе. Например, при разработке ПО можно попросить нейросеть сгенерировать часть кода за программиста, особенно, если его написание носит рутинный характер. И получить на выходе хороший код.

Поэтому перспективы внедрения этой технологии видятся прежде всего в тех задачах, где глубокое понимание контекста не требуется. До тех пор, пока бот не прошел тест Тьюринга, видеть какие-либо риски в нем преждевременно.  Российские аналоги ChatGPT тоже уже есть. Наиболее интересным кажется на данный момент решение Яндекса. Бот строится на других моделях, лучше распознает контекст русского языка и лучше адаптирован под российскую специфику. Развитие этого направления стоит поддерживать, так как подобные технологии могут стать ядром нового витка цифрового развития».

ChatGPT: «Рынок искусственного интеллекта в области информационной безопасности существенно изменился за последние 5 лет. В частности, были сделаны следующие изменения:

• Рост спроса на продукты ИИ для ИБ, таких как системы обнаружения вторжений (IDS) и системы предотвращения вторжений (IPS). Эти продукты помогают компаниям обеспечивать защиту от кибератак и улучшают общую безопасность данных.
• Внедрение глубокого обучения (Deep Learning) в продукты ИБ, что позволило создавать более точные и эффективные алгоритмы обнаружения вредоносных программ и других видов кибератак.
• Увеличение использования автоматизированных средств анализа данных и решений на основе ИИ, что помогает сократить время реакции на инциденты ИБ и улучшить качество анализа.
• Расширение применения ИИ в области биометрической аутентификации, что повышает безопасность доступа к устройствам и системам.
• Увеличение числа компаний, занимающихся разработкой продуктов ИИ для ИБ, что приводит к увеличению конкуренции и развитию новых технологий.

В целом, рынок ИИ в ИБ продолжает расти и развиваться, и в ближайшие годы ожидается еще большее расширение его применения».

Какие существуют сценарии использования ИИ в ИБ?

Андрей Красовский, директор по маркетингу Swordfish Security: «Сегодня самый используемый сценарий — обработка отчетов, полученных от сканеров безопасности на разных этапах жизненного цикла ПО. В сыром виде они могут включать в себя тысячи строк с дублями, ложными срабатываниями и другими лишними данными. При этом специалисты до сих пор вручную и по-отдельности разбирают результаты проверок, выданные разными инструментами ИБ. Технологии ИИ позволяют изучать отчеты гораздо оперативнее и эффективнее. Там, где уходят недели, машинный интеллект может справиться за несколько часов, а то и минут.

По крайней мере, при помощи ИИ можно распознавать дубли, исключать большую часть ложных срабатываний, группировать уязвимости в дефекты — в результате эксперты получают в сотни раз меньший объем для анализа. В ближайшее время появятся системы на основе ИИ, которые смогут проводить аудит процессов безопасной разработки и выдавать рекомендации по оптимизации и повышению эффективности.

Также искусственному интеллекту вполне можно доверить проведение регулярного тестирования сотрудников в области информационной безопасности. Это поможет быстро оценить уровень их компетенций и способностей, выявить слабые места, пробелы и потребности в конкретных знаниях. Полученные результаты помогут разработать эффективную программу обучения, включающую определенные курсы, мероприятия и дополнительные материалы. В конечном итоге технологии позволят нарастить уровень экспертизы внутри компании».

Дмитрий Пудов, генеральный директор NGR Softlab, считает, что скорее это всё гипотетические сценарии: “мне неизвестно реальных примеров подобного применения“, – комментирует Дмитрий. Использование генеративного ИИ видится скорее перспективным направлением, а не реальностью. Вместе с тем существующие прототипы уже вполне могут претендовать на реализацию ряда задач в обозримом будущем. “Возможно, есть шанс увидеть интеллектуальные чат-боты, которые смогут помогать с анализом информации и формированием гипотез. Подобные кейсы уже есть в телемедицине», — отметил эксперт.

Евгений Царев, управляющий RTM Group, пока видит только поддерживающую роль ИИ в тех же технических решениях. Для обработки рутинных задач (например, расчет стоимости услуги для типового набора или же подготовка перечня требуемых документов и алгоритма действий при обращении клиентов в юридическую компанию). При поиске уязвимостей и определении того, не был ли вредоносный код написан ИИ, также может применяться ИИ. “Но для оценки того, насколько адекватные выводы делает машинный мозг, все равно не обойтись без человека. В услугах ведь покупают именно интеллект и время человека, поэтому нередко они стоят так дорого. Если можно обойтись без человека, решить все силами машины, то и стоимость будет другая. Вот когда ИИ научится принимать действительно взвешенные и адекватные решения, появятся и продукты (услуги), полностью завязанные на нем», — уточнил специалист.

Павел Кузнецов, директор по продуктам компании “Гарда Технологии”: «Составление отчёта по форме, к примеру, автоматизированного сканирования инфраструктуры на уязвимости, не требует применения технологий ИИ. А для выделения некоторых деталей и формирование качественных экспертных рекомендаций по-прежнему нужен специалист.

И я бы не переживал за рабочие места, человеческий ум, именно в задачах анализа защищённости и разработки методов и средств защиты, останется непревзойдённым. Да, «справочные» возможности обученной модели ИИ намного сильнее, чем «постоянное запоминающее устройство» в человеческом мозге, но с другой стороны, творческий процесс (не генерация случайных гипотез на основе имеющегося, пусть и огромного, объёма данных), фантазия, если угодно, у машины отсутствует полностью. Беспокоиться за свои места специалистам нужно будет начать не раньше, чем какая-то часть методов, к примеру, теории решения изобретательских задач (ТРИЗ) сможет стать автоматизирована с помощью технологий ИИ.

Тем не менее в ИБ ИИ уже давно и довольно успешно применяется, как и упоминал ранее, в задачах выявления аномалий в сетевом трафике и иных событиях ИБ, собираемых аналитическими системами, в задачах определения активности программного обеспечения как вредоносной, в задачах выявления сетевых атак, даже банального DDoS на основе анализа пакетов внешнего трафика, и т.д.».

Евгений Черешнев, исполнительный директор блока кибербезопасности МТС, рассказал, что его компания обучает ИИ быть лучшим на свете этичным хакером. ИИ-хакер не спит, не ест, в профсоюз не вступает и находит уязвимости так же, как большинство хакеров-людей. Это дает время клиентам закрыть бреши до того, как их найдут плохие парни. Связанная с этим работа – умная фильтрация трафика, сегментирование типов и классов угроз, описание угроз и и механизмов их устранения (часто они типовые) — действительно может делать ИИ.

“Еще одна точка приложения усилий – это обучение. У технологий ИИ большой потенциал в сфере edtech и в частности – в обучении квалифицированного персонала и рядовых сотрудников. Это важно, поскольку до сих пор человек остается самым слабым звеном в защите корпоративных инфраструктур, и многие сложные атаки с серьезными последствиями для бизнеса и государства начинаются с человеческой ошибки», — заявил эксперт.

Аида Асатрян, специалист по информационной безопасности «Астрал.Безопасность»:

«ИИ, а именно ChatGPT, может помогать составлять подробный план. В OSINT же он пока не силен. На этапе сбора данных чат-бот в состоянии выдать нужную информацию, но ее обязательно нужно будет проверить, так она может генерировать данные (например, адреса), которых на самом деле не существует.  При анализе уже собранных данных она в состоянии выдать реалистичные показания, но при этом они остаются довольно поверхностными.  

Также известно использование этого чат-бота для написания книг по ИБ. Для ее составления потребовался подробный план книги, и при этом она оказалась без каких-либо иллюстраций и подходящей лишь для начинающего специалиста по информационной безопасности. С таким же успехом этот бот может быть использован для написания сценариев реагирования на инциденты ИБ. Это может быть активно использовано в центрах SOC и повысить их эффективность.

Помимо этого, ИИ может быть использован при расследовании инцидента информационной безопасности. Просматривая неорганизованные данные, собранные следователями, ИИ может обнаружить подозрительную и незаконную деятельность. Это также может облегчить поиск потенциальных виновных, которыми занимаются специалисты по форензике».

ChatGPT: «Существует множество сценариев использования искусственного интеллекта в области информационной безопасности, например:

• Обнаружение аномалий в сетевом трафике и раннее предупреждение о возможных атаках.
• Автоматическое обнаружение и анализ уязвимостей в приложениях и операционных системах.
• Поиск утечек конфиденциальных данных и мониторинг их использования.
• Использование машинного обучения для анализа больших объемов данных, связанных с безопасностью, для выявления скрытых трендов и угроз.
• Автоматическое создание отчетов о безопасности и аудитов, на основе данных собранных из различных источников.
• Анализ облачных сред и контроль соответствия политикам безопасности.
• Использование ИИ для защиты от атак социальной инженерии и фишинга.
• Проверка соответствия сетевых устройств политикам безопасности и выявление нарушений.

Это лишь некоторые примеры, искусственный интеллект может быть использован в информационной безопасности во многих других областях, чтобы обеспечить более эффективную и безопасную защиту данных и инфраструктуры».

Как применяют ИИ разработчики СЗИ?

Дмитрий Пудов, генеральный директор NGR Softlab, отметил, что примеров использования немало: распознавание и классификация документов и видео, поведенческая аналитика, профилирование систем и пользователей. Наиболее активно применяются методы, связанные с распознаванием и анализом данных.

Евгений Царев, управляющий RTM Group, рассказал, что очень многие компании, осуществляющие разработку продуктов и услуг, заявляют наличие инструментария машинного обучения и его использование. Но реальных примеров его применения очень мало. Разве что в антивирусных продуктах и МЭ для рядовых пользователей многие добавляют функции МО.

Игорь Тюкачев, руководитель отдела развития бизнеса продуктов ИБ компании Axoft:

«Многие производители СЗИ используют ML (машинное обучение) или AI (искусственный интеллект) в своих решениях. Это касается поведенческой аналитики (продукты класса DLP + UEBA), антифрод-решений. Также во всех решениях XDR производители заявляют участие AI.

Предпосылки использования искусственного интеллекта следующие:

• огромное количество событий в сети, на хостах, которые, на первый взгляд, не связаны друг с другом;
• необходимость на лету проводить корреляцию этих событий, собирать их в цепочку и распознавать угрозу.

Решения IRP (автоматизация реагирования на инциденты информационной безопасности) также могут использовать решения ML/AI. Наибольшую эффективность AI показывает в продуктах по обнаружению 0-day атак (продукты класса EDR). И, разумеется, в предиктивной аналитике, которая позволяет спрогнозировать атаку еще до того, как она состоялась».

Евгений Черешнев, исполнительный директор блока кибербезопасности МТС, отметил, что это всё, что связано с детектированием, классификацией, приоритизацией, фильтрацией и вообще определением оптимальных сценариев работы с массовыми угрозами.

Аида Асатрян, специалист по информационной безопасности «Астрал.Безопасность»: «ИИ активно используется для создания средств защиты информации. В SIEM системах (системы управления событиями и информацией о безопасности) искусственный интеллект фиксирует аномалии в трафике в разрезе определенных данных. В WAF (межсетевые экраны для защиты веб-приложений) интеллектуальная система классифицирует входящий трафик на легитимный и не легитимный. При этом в разных WAF интеллектуальная модель может отличаться. Подробнее с этими примерами можно ознакомиться в нашей статье «ИИ в ИБ. Хайп или необходимость?».

В IRP/SOAR-решении широко применяются механизмы искусственного интеллекта и машинного обучения: к примеру, такая система в состоянии предложить аналитику нужное действие по реагированию на инцидент в зависимости от его свойств, назначить команду специалистов на его решение, ориентируясь на релевантный опыт специалистов.

Также она может зафиксировать аномальный трафик и сгенерировать по нему инцидент, уведомив специалистов по ИБ. Эта система обучена на ранее решенных инцидентах и является предиктивной. Обученная система позволяет спрогнозировать вектор атаки и её последующее развитие в инфраструктуре, показать тенденции, а затем автоматически пресечь вредоносные действия и дать советы аналитикам SOC-центра».

ChatGPT: «ИИ применяют разработчики систем защиты информации для повышения эффективности и точности обнаружения угроз безопасности. Например, используют алгоритмы машинного обучения для анализа трафика на предмет аномалий и подозрительных активностей, а также для классификации вредоносных программ и защиты от фишинговых атак. Кроме того, ИИ может помочь автоматизировать процессы обнаружения и реагирования на угрозы, что позволяет сократить время реакции и минимизировать риски для безопасности».

Как предотвращать кибератаки с помощью ИИ?

Александр Канатов, CEO «Стахановец»:

«ИИ может помочь организациям в предотвращении утечек данных. По оценке Министерства цифрового развития России, более 70% всех утечек личных данных и другой закрытой информации произошло из-за халатности или намеренных действий сотрудников. У наших клиентов много кейсов, когда специалиста пытались подкупить конкуренты и просили слить базу клиентов. К сожалению, ради финансовой выгоды многие на это соглашались.

В прошлом году ситуация ухудшилась, так как из-за обострения геополитической ситуации начался всплеск хактивизма — люди начали совершать атаки на сайты компании и СМИ из-за идеологических соображений. Кроме этого, киберпреступники стали искать в компаниях сотрудников, которые за вознаграждение были готовы сливать корпоративную информацию. Недобросовестных сотрудников, которые по тем или иным причинам планируют слить конфиденциальные данные, по внешним признакам выявить невозможно. Здесь на помощь приходит ИИ. Встроенный в систему мониторинга персонала он анализирует поведение сотрудников, выявляет действия, которые могут нести угрозу для компании и сообщает об этом службе безопасности.

Например, сотрудник пытается переслать базу клиентов или другой конфиденциальный документ через мессенджер, почту или скопировать на съемный носитель. Интеллектуальная система распознает это действие как опасное и СБ мгновенно получает уведомление об инциденте. Для того, чтобы предотвратить утечки информации, необходимо настроить систему мониторинга под особенности бизнеса: выявить данные, утечка которых критична для бизнеса, маркировать документы, которые относятся к конфиденциальным, и регулярно проводить апдейт информации».

Дмитрий Пудов, генеральный директор NGR Softlab, подчеркнул, что сейчас разработчики решений активно используют возможности алгоритмов ИИ для детектирования атак.

Павел Кузнецов, директор по продуктам компании “Гарда Технологии”, добавил к уже вышесказанному, что конкретно в отношении DDoS – очистку «белого» трафика к ресурсам на основе стандартных сигнатурных технологий вполне можно подкрепить ИИ – «робот робота видит издалека».

Евгений Черешнев, исполнительный директор блока кибербезопасности МТС, привел пример, что можно поставить искусственный интеллект на стражу периметра компании – контролировать появление и закрытие уязвимостей.

ChatGPT: «ИИ может использоваться для предотвращения кибератак путем проведения профилактических мер, в том числе:

• Анализ сетевого трафика с целью выявления аномалий и подозрительных паттернов.
• Мониторинг и обнаружение уязвимостей в системах безопасности, используя методы машинного обучения и анализа данных.
• Разработка интеллектуальных систем обнаружения вторжений, которые могут распознавать и предотвращать кибератаки.
• Использование ИИ для усиления механизмов автоматической аутентификации пользователей и обнаружения взломов аккаунтов.
• Обучение систем искусственного интеллекта на основе данных о прошлых кибератаках, чтобы улучшать предиктивные способности и разрабатывать более эффективные меры защиты.

В целом, использование ИИ в кибербезопасности может повысить эффективность и скорость выявления угроз и позволить быстрее реагировать на кибератаки».

Как ИИ помогает автоматизировать процессы ИБ?

Александр Канатов, CEO «Стахановец»: «Одна из возможностей ИИ — поведенческий анализ. Искусственный интеллект в режиме реального времени мониторит поведение сотрудников компании, выявляет аномалии и либо блокирует опасные действия, либо — мгновенно информирует службу безопасности об угрозе. Алгоритмы работают с различной информацией. К примеру, в «Стахановец» есть функция «Антифото», которая не дает сфотографировать экран с ценными данными.

В основе лежит алгоритм, который анализирует предметы перед монитором. Если нейросеть распознает, что сотрудник хочет сфотографировать экран с конфиденциальной информацией, система свернет окно, заблокирует компьютер и оповестит службу безопасности. Другой пример — функция «Распознавание лиц», которая через веб-камеру в режиме реального времени определяет, кто находится за монитором. В основе лежит собственная технология распознавания лиц с использованием нейросети и искусственного интеллекта. Технология помогает не только ограничить круг лиц, которые могут получить доступ к корпоративному периметру, но и позволяет ретроспективно установить, кто из сотрудников использовал ноутбук в конкретное время.

Аутентификация пользователей по биометрическим данным снижает риск утечки информации и облегчает проведение расследований в случае ЧП. Предупредить такие инциденты, как несанкционированный доступ к рабочему месту или фотосъемка экрана с ценной информацией, в «ручном» режиме сотрудникам ИБ практически невозможно. Это можно сделать разве что с помощью системы видеонаблюдения. Но даже если камеры охватывают все рабочие места в компании, то специалисты СБ не способны беспрерывно следить за каждым сотрудником во время онлайн трансляции. В этом плане ИИ не только автоматизировал мониторинг персонала, но и усовершенствовал его».

Андрей Красовский, директор по маркетингу Swordfish Security: «В настоящее время ИИ всё еще не используется широко в области информационной безопасности, но у этих технологий большие перспективы в данном направлении. Уже сейчас разрабатываются подходы к применению ИИ, которые позволят управлять процессом безопасной разработки (DevSecOps), совершенствуются существующие методы в части корреляции уязвимостей ПО.

В перспективе искусственный интеллект можно будет использовать для проверки соответствия требованиям информационной безопасности, автоматизации создания пайплайнов ИБ, прогнозирования уязвимостей и даже их исправления. Также со временем усовершенствованные технологии ИИ могли бы определять вредоносное ПО, созданное машинами из разных «частей» сигнатур, и отсеивать его.

Сейчас сложности заключаются в том, что такие «гибриды» часто не проходят фильтры инструментов защиты и создают определенные проблемы. С помощью искусственного интеллекта справляться с ними можно было бы гораздо быстрее».

Дмитрий Пудов, генеральный директор NGR Softlab:

«Чтобы оставаться в едином информационном контексте (сразу обозначу, что ориентируюсь на термины и определения ГОСТ 34) легко обозначить область роста в связи с применением ИИ. Ознакомившись с «Основными компонентами автоматизированных систем», можно увидеть, где и каким образом искать прикладной смысл для автоматизации ИБ с применением ИИ».

Павел Кузнецов, директор по продуктам компании “Гарда Технологии”, рассказал, что в деятельности Security Operations Center – стандартной штатной единицы любой современной службы информационной безопасности – ИИ используется для выбора из потока срабатываний средств защиты информации наиболее приоритетных и опасных, что позволяет разгрузить сотрудника SOC и помогает сконцентрироваться на важных инцидентах и отражении реальных атак, а не борьбе в «ручном режиме» с бесконечным потоком false positive срабатываний.

ChatGPT: «ИИ может помочь автоматизировать процессы ИБ следующими способами:

• Детектирование угроз. ИИ может анализировать данные с помощью алгоритмов машинного обучения, чтобы автоматически обнаруживать потенциальные угрозы и атаки, такие как вирусы, фишинговые сайты и злонамеренные программы.
• Предотвращение атак. ИИ может использоваться для автоматического реагирования на угрозы и атаки, например, путем блокировки доступа к уязвимым узлам сети или блокировки IP-адресов, из которых поступают подозрительные запросы.
• Мониторинг безопасности. ИИ может помочь улучшить мониторинг безопасности путем автоматического анализа журналов событий и логов доступа, чтобы выявить потенциальные уязвимости и необычную активность.
• Анализ уязвимостей. ИИ может использоваться для автоматического анализа уязвимостей в системах и приложениях, что помогает выявлять проблемы безопасности и предотвращать возможные атаки.
• Обучение персонала. ИИ может использоваться для обучения сотрудников организации правильным методам работы с информацией и соблюдения правил безопасности.

Примеры использования ИИ в ИБ включают в себя системы управления угрозами, системы мониторинга безопасности, системы обнаружения вторжений, системы анализа уязвимостей и системы аутентификации пользователя».

ИИ может заменить аналитика (сотрудника) по ИБ?

Дмитрий Пудов, генеральный директор NGR Softlab уверен, что сейчас это выглядит как маловероятный сценарий.

Павел Кузнецов, директор по продуктам компании “Гарда Технологии”, указал на то, что частично ответ уже был дан в прошлых ответах, однако, дополнил, что нужно смотреть, о какой документации идёт речь. Если речь, например, о devdocs, то существуют механизмы, позволяющие генерировать документацию на основе самого кода и комментариев к нему, притом безо всякого участия ИИ. Это куда более просто автоматизируемая задача. Если же речь идёт об экспертных рекомендациях, всё несколько усложняется.

“Добавлю также, что при качественной совместной с ИТ-службой проработке процессов возможна полная автоматизация работы первой линии мониторинга в SOC как с применением ИИ, так и без него в отдельных случаях», — резюмировал эксперт.

Андрей Красовский, директор по маркетингу Swordfish Security, прокомментировал, что сегодня технологии ИИ всё еще не способны в полной мере заменить аналитика ИБ. Однако искусственный интеллект может существенно повысить эффективность таких сотрудников, что позволит хотя бы частично решить проблему с кадрами на рынке.

ChatGPT: «Искусственный интеллект может заменить аналитика по информационной безопасности в некоторых задачах, например, в написании документации и анализе данных. Некоторые возможности ИИ включают автоматическое обнаружение угроз и аномалий, анализ журналов событий, прогнозирование рисков и действий, и автоматическую генерацию отчетов. Однако, ИИ не может заменить полностью аналитика по ИБ, так как в некоторых ситуациях необходимо человеческое решение, опыт и экспертиза для эффективного реагирования на сложные события и угрозы».

Для каких задач можно дополнительно использовать ИИ?

Андрей Красовский, директор по маркетингу Swordfish Security: «ИИ наверняка обострит извечное противостояние между киберпреступниками и защитниками. Первые смогут с помощью этих технологий создавать различное вредоносное ПО, осуществлять рассылки и звонки и добиваться максимальных результатов. И самое важное — они получат возможность складывать существующие уязвимости в векторы атак.

Множество программ (не менее 70% от общего числа существующего ПО) содержат уязвимости низкой степени критичности, которые сами по себе не очень опасны. Возможно, с помощью ИИ получится распознавать «эффективные» сочетания таких проблем, проводить мощные атаки и достигать поставленных целей. Ну а защитники, в свою очередь, в ответ на эти вызовы должны будут максимально быстро реагировать на атаки, оперативно находить источники проблем и решения. Но самое главное, им нужно будет еще активнее на этапах разработки ПО сводить все риски к минимуму.

В перспективе с этим им как раз помогут усовершенствованные механизмы корреляции уязвимостей, возможности искусственного интеллекта в части проверки соответствия индустриальным стандартам и требованиям регуляторов, автоматического создания конвейеров безопасности, а также формирования метрик для отслеживания эффективности DevSecOps.

Из минусов здесь можно отметить «наукоемкость» внедрения ИИ в процесс обеспечения безопасности, а значит, к тем, кто займется этим, будут предъявлять крайне высокие требования. Также задачи защитников значительно облегчатся, если в будущем ИИ можно будет использовать в рамках прогнозирования уязвимостей, выявления сложных векторов атак на инфраструктуру разработки и устранения хотя бы типичных проблем».

Дмитрий Пудов, генеральный директор NGR Softlab, заметил, что уже сейчас ряд моделей способны существенно помочь в решении аналитических задач в ИБ. А один из продуктов NGR Softlab как раз и нацелен на решение подобных задач: помощь в детектировании новых атак, анализ ролевой модели, анализ поведения элементов ИТ/ИБ-инфраструктуры и пользователей и т.п. По мнению Дмитрия Пудова, это огромный пласт задач и большое поле для повышения эффективности подразделений ИБ, ведь аналитические задачи наиболее ресурсоемкие.

Евгений Царев, управляющий RTM Group: «А вот это интересный вопрос. Если коротко – искусственный интеллект может использоваться для активного противодействия атакам. Но речь не идет о каких-то фантазиях из будущего, суперинтеллектуальных виртуальных машинах, речь о вполне конкретных вещах. ИИ будет делать то, чему его обучишь. Соответственно, можно внести в машину возможность противодействия разным сценариям атак, передать ей принятие решения по блокировке портов, изоляции части сети, отдельных машин от основной части в случае возникновения инцидента, например. Или оперативно атаковать по заранее определенным сценариям в ответ. Технически такие решения точно появятся. В них действительно ощущается потребность».

Павел Кузнецов, директор по продуктам компании “Гарда Технологии” в дополнение к сказанному отметил, что ИИ можно использовать для аудита информационных ресурсов и приоритизации векторов проникновения в инфраструктуру.

ChatGPT: «ИИ может быть применен для решения множества задач в различных областях. Некоторые из потенциальных применений ИИ, которые еще не используются широко, включают:

• Создание биометрических систем идентификации, которые могут быть использованы для повышения безопасности и предотвращения мошенничества.
• Разработка систем предсказания и борьбы с кибератаками на информационные системы.

Это лишь несколько примеров того, как ИИ может быть применен для решения различных задач в будущем».

Как хакеры используют ИИ для проведения кибератак и как им противостоять?

Павел Кузнецов, директор по продуктам компании “Гарда Технологии», заявил, что далеко не все группы злоумышленников доросли до применения технологий ИИ во вредоносных целях, и не хотелось бы давать здесь рецепты, как им начать это делать.

Дмитрий Пудов, генеральный директор NGR Softlab, подчеркнул, что есть несколько сценариев применения, и они регулярно пополняются: использование технологий deepfake, генерация фейковых аккаунтов для фишинговых атак и др. Уже есть примеры, использующие в цепочке генеративный ИИ, например, публикации о создании прототипов вредоносного ПО с применением ChatGPT. Ничего не меняется — любая технология может использоваться как во благо общества, так и против.

Андрей Красовский, директор по маркетингу Swordfish Security: «Написать вредоносный код при помощи ИИ возможно. Киберпреступники уже активно используют эти механизмы в своих целях. Так, в прошлом году мы зафиксировали рост числа фишинговых писем, созданных с применением искусственного интеллекта. Ожидаем, что в этом году активность в данном направлении увеличится еще на 20-30%. Для того чтобы разрабатывать вредоносы с помощью ИИ, сейчас нужны не столько навыки программирования, сколько специальные знания в предметной области. Например, из существующих образцов вирусов можно собрать новую зловредную программу, которую не обнаружат инструменты защиты. Конечно, для этого нужно очень хорошо разбираться во вредоносах. К тому же настройки для машинного интеллекта определяют люди, задачи также ставят люди. И для получения качественного результата важно четко понимать, что делаешь».

Игорь Тюкачев, руководитель отдела развития бизнеса продуктов ИБ компании Axoft: «Самой большой угрозой в прошлом году были признаны дипфейки. Они позволяют обойти аутентификации по лицу, голосу и т.д. Такие решения могут использоваться для дезинформации и манипуляции. Также AI позволяет проще и быстрее собрать важную информацию об атакуемом объекте. Возьмем, например, FindFace: фотографируете лицо человека, и мобильное приложение находит субъект в соцсетях. Получается, что деанонимизацию, анализ соцсетей жертвы можно провести плюс/минус бесплатно.

Как противостоять угрозам:

• использовать многофакторную аутентификацию для доступа к корпоративным приложениям;
• ограничить доступ к фото- и видеоматериалам с участием первых лиц компании;
• использовать обработку фото специальными программами, затрудняющими использование дипфейков.

В целом, злоумышленники создают новые продукты для атаки, а защищающаяся сторона – инструменты для противостояния им. И, возможно, в скором будущем мы увидим, как один ИИ нападает, а другой – защищается без участия людей».

Евгений Черешнев, исполнительный директор блока кибербезопасности МТС, указал на то, что, прежде всего, ИИ используется для разведки и сбора данных из открытых источников – социальных сетей, мессенджеров, интернет-магазинов, форумов в даркнете. Данные такой разведки бесценны при подготовке атак. Кроме того, ИИ уже используется в атаках, это не только инструмент защитников. Хакер так же обучает ИИ выполнять рутинные взломы.

“Уже сейчас хакеры вовсю экспериментируют с имперсонацией – используя фото и видео людей в Сети можно собирать ИИ-ботов, выглядящих и говорящих, условно, как руководитель некой компании начальник. Затем можно использовать такого бота для социальной инженерии, обманом заставляя сотрудников этой компании совершить нужные мошенникам действия. Это тоже форма атак, которые без ИИ были невозможны», — заявил Евгений Черешнев.

Аида Асатрян, специалист по информационной безопасности «Астрал.Безопасность»: «С появлением ChatGPT хакеры получили отличного помощника, который может оказать услугу в написании фишинговых сайтов, вымогающих личные данные пользователей. Кроме того, этот чат-бот в состоянии кодировать вредоносное ПО, которое в результате может отслеживать действия пользователей на клавиатуре.

С помощью все того же бота были созданы инструменты, которые устанавливали бэкдор на устройство жертвы с последующей загрузкой других вредоносных программ на ПК. Другим примером является использование этого бота для создания кода, который крадет необходимые данные, сжимает их и передает через интернет. ИИ может быть использован не только как инструмент для взлома хакерами. У него может быть ряд уязвимостей, которые могут быть активно эксплуатированы хакерами для входа в инфраструктуру. Известны случаи компрометации библиотек для машинного обучения, вследствие чего разрабатывался ИИ, заранее содержавший в себе вредоносный код. Со всеми примерами выше можно подробнее ознакомиться в нашей статье для CISOCLUB».

ChatGPT: «Хакеры используют ИИ для проведения кибератак, включая уязвимостей и обхода механизмов безопасности, анализа данных и распознавания образов. Например, ИИ может использоваться для создания фишинговых писем, которые более эффективны в обмане пользователей. Для борьбы с хакерами, использующими ИИ, можно использовать различные техники, такие как мониторинг сетевого трафика и обнаружение аномалий, а также обучение алгоритмов ИИ для обнаружения атак и принятия контрмер. Кроме того, важно проводить обучение пользователей и обеспечивать хорошую кибербезопасность, чтобы снизить риски кибератак, в том числе с использованием ИИ».

Какие существуют количественные и качественные оценки для применения эффективности использования ИИ?

Дмитрий Пудов, генеральный директор NGR Softlab, не думает, что оценка эффективности должна зависеть от методов достижения целей.

Павел Кузнецов, директор по продуктам компании “Гарда Технологии“, заметил, что можно использовать те же метрики, что применяются для оценки эффективности работы сотрудников. Например, % срабатываний, эскалирующихся на аналитиков второй линии мониторинга SOC до и после внедрения ИИ на первой линии.

Евгений Черешнев, исполнительный директор блока кибербезопасности МТС, сказал, что главная метрика – количество успешных атак и ущерб компании до и после внедрения продукта с технологией ИИ, а всё остальное – слова.

ChatGPT: «Для оценки эффективности использования искусственного интеллекта на русском языке можно использовать как количественные, так и качественные оценки. Количественные оценки могут включать в себя измерение точности, полноты, скорости работы, производительности и других метрик, которые можно измерить и сравнить в числовом выражении. Качественные оценки могут включать в себя анализ качества выходных данных, оценку качества принимаемых решений, анализ удобства использования и удовлетворенности пользователями и другие качественные параметры, которые не могут быть измерены в числовом выражении. Для полноценной оценки эффективности использования ИИ необходимо использование комбинации количественных и качественных оценок».

Существует ли нормативная база для регулирования деятельности в области ИИ?

Евгений Черешнев, исполнительный директор блока кибербезопасности МТС, уверен, что ИИ бесполезно ограничивать. Любая страна, которая будет пытаться это делать, выстрелит себе в ногу и будет отставать от других. Это уже было много раз — США отставали в послевоенном шифровании, так как сделали эту индустрию закрытой и секретной, в отличие от СССР и Британии, поэтому наше шифрование долго было лучше американского. То же с ИИ — эту революцию нельзя уже остановить. Ее можно только возглавить.

Павел Кузнецов, директор по продуктам компании “Гарда Технологии”: «В силу неповсеместности внедрения ИИ в жизнь общества говорить о наличии именно базы пока рано. Даже регулирование просто мирного применения ИКТ как явления ещё находится в фазе переговоров в рамках рабочей группы открытого состава ООН. Инициированы эти консультации, были, кстати, Россией, если мне не изменяет память.

Так что можно говорить о том, что наши государственные органы находятся на переднем крае разработки этой базы. К примеру, в 2020 году вступил в силу Закон № 123-ФЗ «О проведении эксперимента по установлению специального регулирования в целях создания необходимых условий для разработки и внедрения технологий искусственного интеллекта в субъекте Российской Федерации – городе федерального значения Москве и внесении изменений в статьи 6 и 10 Федерального закона “О персональных данных”», создавший в Москве зону особого правового режима сроком на 5 лет, упрощающего деятельность по разработке, тестированию и внедрению технологий и методов ИИ. Можно ожидать продолжения работы законодателей в этом направлении».

Дмитрий Пудов, генеральный директор NGR Softlab, рассказал, что сейчас идет активное становление нормативной базы в ИИ: уже разработаны и введены несколько ГОСТов, идет работа над развитием нормативной базы в прикладных областях. Наиболее активно в медицине. До сих пор есть много серых зон, связанных с применением ИИ, требующих проработки. “Именно поэтому до сих пор мы не можем передать ответственность за принятие решения от человека алгоритму, требуется валидация результата и принятие ответственности за выбранное решение».

Евгений Царев, управляющий RTM Group, считает, что для правовой системы это вызов. Использование и регулирование ИИ – отдельная тема. Здесь очень много вопросов по части интеллектуального права на произведение. Здесь сразу начинаются вопросы: «Если картина написана нейросетью, кто автор? Создатель нейросети или тот, кто параметры задал? А если нейросеть создавалась и обучалась тысячами разных людей? Кто тогда автор? Как защищать права машин и нужно ли это делать?» Давать ответы на эти вопросы правовая система пока не готова».

ChatGPT: «В международном уровне существуют некоторые документы, направленные на регулирование деятельности в области искусственного интеллекта. Например, Этический кодекс по разработке и использованию ИИ (Ethics Guidelines for Trustworthy AI), разработанный Европейской комиссией в 2019 году, и Международный общественный доклад о ИИ и обществе (The Montreal Declaration for Responsible AI), принятый на конференции AI for Good Global Summit в 2018 году.

На национальном уровне некоторые страны также начали разрабатывать свою нормативную базу для регулирования ИИ. Например, в России в 2019 году был принят указ «О развитии искусственного интеллекта в Российской Федерации“, который определяет области применения ИИ и устанавливает некоторые требования к его использованию.

Однако, на данный момент нет универсальных требований или ограничений, которые были бы применимы ко всем областям применения ИИ. Развитие нормативной базы в области ИИ является активно исследуемой темой, и в будущем могут появиться новые регулирующие документы».

Чем опасна эволюция ИИ в ИБ?

Дмитрий Пудов, генеральный директор NGR Softlab, напомнил, что об этом достаточно написано у фантастов. “Сценариев развития ИИ много, однако мы пока далеки от General AI и апокалиптических сценариев. Но даже на текущем этапе есть масса морально-этических проблем и теоретически сформулированных рисков применения ИИ, например, отравление данных. Вероятным видится сценарий, при котором мы постепенно будем утрачивать контроль над результатом деятельности моделей. Уже сейчас в сложных моделях трудно пересказать логику появления выходных данных».

Павел Кузнецов, директор по продуктам компании “Гарда Технологии”, заметил, что эволюция ИИ в ИБ опасна соблазном применения ИИ не только для защиты, но и для кибернападения. Особенно если простота развёртывания соответствующего ПО достигнет такого же низкого порога, который сейчас требуется для того, чтобы развернуть на личном компьютере, например, экземпляр модели Stable Diffusion. И если основанное на ИИ вредоносное ПО станет доступно для применения широкому кругу злоумышленников, с таким ВПО бороться будет сложнее.

ChatGPT: «Эволюция искусственного интеллекта может быть опасна в области информационной безопасности по нескольким причинам.

Во-первых, ИИ может быть использован злоумышленниками для создания более совершенных и эффективных кибератак. Использование ИИ в киберпреступлениях может привести к более сложным и тонким атакам, которые будут труднее обнаружить и предотвратить.

Во-вторых, с развитием ИИ могут возникнуть новые уязвимости, которые могут быть использованы для атак на информационную систему. Например, ИИ может быть обучен искать и использовать уязвимости в системе безопасности, чтобы получить доступ к защищенным данным.

В-третьих, ИИ может быть использован для создания поддельных данных, что может привести к серьезным последствиям. Например, ИИ может использоваться для создания фальшивых документов или распространения ложной информации, что может привести к финансовым потерям, потере репутации и другим негативным последствиям.

Поэтому необходимо уделить внимание безопасности ИИ и разрабатывать соответствующие меры для защиты информационных систем от возможных угроз, связанных с его использованием”.

Где искать специалистов по ИИ?

Андрей Красовский, директор по маркетингу Swordfish Security, сразу заметил, что специалистов в области искусственного интеллекта можно искать на рынке труда, но их мало. Крутые эксперты стоят дорого. Поэтому сейчас эффективнее растить кадров внутри команды под конкретные нужды и задачи.

Дмитрий Пудов, генеральный директор NGR Softlab, уверен, что в целом подход не отличается от поиска других специалистов. Для рынка информационной безопасности надо отметить, что шансов найти специалистов по ИИ, обладающих знаниями еще и в прикладной области, — задача практически невозможная. “На мой взгляд, в ИБ мы уже свыклись с дефицитом ресурсов. Несмотря на высокие привлекательность и востребованность, на рынке острый дефицит готовых специалистов. Выход из этой ситуации один — доращивать кадры под свои задачи».

Павел Кузнецов, директор по продуктам компании “Гарда Технологии”, предложил это делать среди выпускников вузов и научных сотрудников соответствующих профильных специальностей, разумеется. Кафедры, занимающиеся проблематикой ИИ, есть во многих ведущих вузах, таких как МИФИ, ИТМО, МГУ им. М.В. Ломоносова, Новосибирском Университете, Университете им. Лобачевского в Нижнем Новгороде и многих других.

Евгений Черешнев, исполнительный директор блока кибербезопасности МТС, поделился мнением, что на рынке крайне мало профильных специалистов. Их можно хантить, но лучший способ – выращивать свои талантливые кадры, мотивировать и давать им интересные задачи и пространство, а не загонять в рамки. Правильный вектор здесь лежит в плоскости открытия новых кафедр в вузах и создании профильного образования.

Аида Асатрян, специалист по информационной безопасности «Астрал.Безопасность»: «Есть несколько способов поиска таких специалистов. Самый простой и быстрый способ – сервисы по интернет-рекрутменту (к примеру: HeadHunter, SuperJob и прочие). Можно найти специалистов с различным опытом, квалификацией и знаниями. Но этот способ не всегда подходит, т.к. из-за большого спроса не многие специалисты по ИИ находятся в постоянном поиске и вывешивают свои резюме.

В этом случае можно и нужно хантить специалистов по ИИ в местах их обитания, развития и обучения. Речь идет о ресурсах, на которых проводятся обучение (как с нуля, так и повышение квалификации), практические соревнования и сформировано свое комьюнити. Самым распространенным ресурсом среди специалистов по машинному обучению является Kaggle. На нем собрано множество обучающих курсов разного уровня, присутствует огромный набор различных датасетов для практики, а также проводятся регулярные соревнования среди пользователей. Также на сайте есть рейтинг пользователей, сформированный на основе таких показателей как участие в соревнованиях, работа с датасетами и прочее. Ориентируясь на данный рейтинг, можно найти квалифицированного специалиста по ИИ. Курсы по машинному обучению.

На сегодняшний день существует много различных курсов, посвященных тематике ИИ, где можно как подтянуть и дополнить существующие знания, так и научиться с нуля. Выпускники таких курсов являются отличными кандидатами на должность специалиста по ИИ. Люди с образованием в ИТ. Из-за возросшей актуальности темы ИИ, связанные с ней дисциплины, стали вводиться в образовательную программу ВУЗов. Таким образом, студент, обучающийся в сфере информационных технологий, также изучает анализ данных, машинное обучение и прочие дисциплины, необходимые для специалиста по ИИ».

ChatGPT: «В России можно искать специалистов по искусственному интеллекту на следующих ресурсах:

• HH.ru — крупнейший российский портал поиска работы, на котором можно найти множество вакансий в области ИИ.
• Superjob.ru — еще один популярный портал поиска работы в России, на котором можно найти вакансии в сфере ИИ.
• HeadHunter AI — это платформа, которая специализируется на поиске и подборе квалифицированных специалистов по искусственному интеллекту.
• AI-Jobs — онлайн-ресурс, который объединяет компании и специалистов в области ИИ.

Исследовательские центры и университеты – Россия имеет многочисленные исследовательские центры и университеты, где работают высококвалифицированные специалисты в области ИИ. Такие учреждения, как МГУ, Сколковский институт науки и технологий, Институт проблем передачи информации РАН и многие другие могут быть хорошими источниками поиска талантливых специалистов по ИИ.