Интервью с Дмитрием Криковым (NGENIX) про защиту от вредоносных ботов

Редакция CISOCLUB поговорила с Дмитрием Криковым, техническим директором NGENIX, на тему защиты от вредоносных ботов. В интервью эксперт подробно разобрал, какие типы ботов угрожают современным организациям, и как они эволюционируют. Дмитрий подчеркнул, что вредоносные боты научились имитировать действия легитимных пользователей, что делает их выявление крайне сложной задачей. Боты представляют прямую угрозу бизнесу, атакуя различные типы организаций: от электронной коммерции до крупных корпоративных ресурсов. Особое внимание в разговоре было уделено таким ботам, как скальперы, скраперы и парсеры, которые активно используются для экономического ущерба компаниям.

Важной темой интервью стала эффективность технологий и инструментов для борьбы с ботами. Дмитрий объяснил, что универсальные методы защиты зачастую неэффективны против специализированных бот-атак, и необходимы продвинутые решения.

Эксперт также затронул роль облачных технологий в борьбе с ботами и объяснил, как интеграция с облачными сервисами позволяет компаниям минимизировать задержки и расходы при обеспечении безопасности. В интервью обсуждаются инновации, которые ожидаются в ближайшие годы, и советы по выбору решений для защиты от ботов.

Какие типы вредоносных ботов представляют наибольшую угрозу для современных организаций, и как меняется их поведение?

Вредоносные боты представляют серьезную угрозу, поскольку имитируют поведение легитимных пользователей, но при этом эксплуатируют ресурсы не по назначению. Обычно это все полностью легально, так как бот выполняет все те же отдельные действия, что и реальный человек.

Отсюда вытекает основная сложность — обнаружение ботов. Их трудно отличить от людей, поскольку они способны не только эмулировать полноценное окружение, но и выполнять такие задачи, как анализ данных, распознавание речи, генерация текста, бронирование товаров в интернет-магазинах, не говоря уже о сборе данных, подборе логинов и паролей.

В 2024 году наблюдается значительный рост вредоносного бот-трафика. Активность проявляют парсеры, скраперы, скальперы, спамеры, смс-бомберы, кликеры, брутфорсеры, боты для поиска уязвимостей.

Боты — это удар напрямую по бизнесу, в этом сложность и боль. Разные типы бизнеса сталкиваются с уникальными угрозами от различных видов ботов. Например, для e-commerce неприятны скальперы и скраперы. Скальперы быстро скупают или бронируют товары в интернет-магазинах, а скраперы собирают информацию о наличии товаров и ценах на них для наиболее конкурентного ценообразования.

Борьба с вредоносными ботами напоминает бесконечную шахматную партию. Злоумышленники постоянно обновляют методы, обучая ботов обходить механизмы защиты. Сложность атак растет, и в этой борьбе есть две новости: хорошая и плохая.

Плохая в том, что в этой битве все защитники в роли догоняющих. Противник действует на опережение, и пока компании ищут контрмеры, их веб-ресурсы могут страдать от атак. Хорошая — в том, что наш опыт и арсенал растут, что позволяет делать методы обхода защиты все более сложными и затратными. Реалистичная цель — сделать так, чтобы в конечном итоге злоумышленникам стало экономически нецелесообразно продолжать атаки.

Какие технологии и инструменты считаются наиболее эффективными для обнаружения и блокировки вредоносных ботов?

Важно понимать, что продвинутые боты бывают разными и те инструменты, которые эффективно отражают один тип бот-атак, не всегда будут эффективны для борьбы с другими видами ботов.

В любом случае, сначала надо использовать инструменты, которые не сильно вмешиваются в работу ресурса. Обычно это помогает в тех случаях, когда бота можно обнаружить по параметрам одного запроса. Например, небольшой онлайн-магазин может бороться с ботами, используя даже простую фильтрацию по User Agent или по IP-адресу (фильтровать трафик по геопризнаку, спискам хостеров и датацентров, а также спискам входных узлов VPN) — в ряде случаев это поможет. В более сложных ситуациях добавляется анализ запроса на всем стэке протоколов: IP, TCP, TLS, HTTP (в том числе и HTTP/2).

Однако эффективность подобных средств защиты падает по мере усложнения ботов. Если простые и недорогие инструменты не работают, нужно использовать более продвинутые методы или искать кардинально новые решения. Это увеличивает стоимость защиты из-за внедрения более сложных технологий и высокой наукоемкости, а также повышает вероятность задержек и ухудшает пользовательский опыт из-за дополнительных проверок и более строгих процедур идентификации.

На каких принципах работает программное обеспечение для защиты от ботов, и какие механизмы оно использует для идентификации угроз?

Первый эшелон защиты от ботов основывается на анализе данных, получаемых от клиента в рамках конкретного запроса. Данные сопоставляются друг с другом и с репутационными базами, где хранится накопленная информация о типовом поведении пользователей данного веб-ресурса. Это помогает выявлять подозрительную активность.

Затем, если возникают сомнения относительно легитимности запроса, проводятся дополнительные активные проверки: от простого JS Challenge до проверки различных параметров и поведения устройства, в том числе на предмет взаимодействия с другими серверами или с человеком (CAPTCHA). Для проведения проверок вне рамок одного запроса приходится предварительно решать задачу идентификации конкретного посетителя, ведь мы уже анализируем именно посетителя, а не конкретный запрос.

Если нам все еще не хватает данных для уверенного принятия решения, следующий шаг — это поведенческий анализ, который включает и анализ поступающих запросов на стороне сервера, и параметры взаимодействия с веб-страницей пользователя (например, движения мыши). Ненормальное поведение может сигнализировать о наличии бота.

По результатам анализа мы постепенно накапливаем данные о поведении пользователей и строим репутационные базы, что позволяет улучшать точность классификации и снижать количество ложных срабатываний.

Какие специализированные решения для защиты от ботов существуют, и чем они отличаются от универсальных средств защиты информации?

Любое специализированное средство отличается от универсального тем, что оно глубоко проработано и предназначено для выполнения конкретных задач. В случае защиты от ботов алгоритмы направлены на определение и проверку подозрительных посетителей, которые потенциально могут быть ботами.

В NGENIX есть отдельный исследовательский центр с инженерами, разработчиками, дата-аналитиками. Они изучают лучшие практики, смотрят на реальный трафик, проверяют на нем гипотезы и вырабатывают решения, которые в дальнейшем ложатся в основу нашего продукта. Им есть, что анализировать и изучать, так как мы предоставляем услуги по защите и ускорению крупным веб-ресурсам и пропускаем через себя их трафик (терабиты и миллионы запросов в секунду).

В декабре на онлайн-конференции Icebreaker2024 расскажем много интересного о ботах и нашем специализированном решении.

Как интеграция с облачными сервисами влияет на защиту от ботов и какие решения для облачной безопасности наиболее актуальны?

Сейчас считается лучшей практикой получать максимум сервисов из облака, а не разрабатывать их самостоятельно. Дело в том, что у крупных провайдеров обычно есть наработанная экспертиза и богатый операционный опыт, ведь их сервисы предоставляются большому количеству заказчиков.

Многие публичные веб-ресурсы в современных реалиях используют облачные решения, поэтому и защиту от ботов логично покупать у облачного провайдера. В идеале она должна быть хорошо интегрирована с остальными облачными сервисами, которые используются для ресурса.

Большое преимущество имеют провайдеры, которые предоставляют защиту от ботов в рамках комплексной услуги. Это позволяет их клиентам получать все необходимые специализированные решения (защиту от ботов, защиту от DDoS, WAF, дополнительную обработку входящих запросов) без ущерба для скорости, удобства и интеграции. Часто при использовании разных облачных решений страдает скорость работы ресурса, а еще приходится нести дополнительные траты на интеграцию. Кроме того, удобно решать все вопросы в одном окне: на одной платформе одного провайдера.

Как осуществляется выбор решений для защиты от ботов, и какие критерии эффективности при этом используются?

Во-первых, нужно найти решение, которое подойдет для вашего веб-ресурса. У разных ресурсов могут быть различные требования к технологиям, нагрузке, задержке и дополнительным сервисам. Как мы уже говорили выше, очень удобно всё получать интегрировано из одного облака. Дальше нужно тестировать и смотреть, как решение будет работать.

Во-вторых, важно понимать, что боты — история о бизнесе и экономике данных. Чаще всего, бот-атаки встречаются в электронной коммерции, так как там сильная конкуренция. Например, та же самая история про динамическое ценообразование, когда нужно знать, что есть у конкурентов, почем это продают и так далее.

Соответственно при тестировании необходимо понимать, как решение влияет на бизнес. Если при блокировке ботов много false positives и клиенты жалуются — очевидно, что решение негативно влияет на бизнес. Важно понять, какой позитивный эффект есть от защиты, то есть как решение позволяет снизить влияние ботов на бизнес, а также нужно убедиться, что плюсы перевешивают минусы.

В-третьих, борьба с ботами — это не разовая операция, а длительный процесс: разово все настроить и защититься получится только в случае примитивных ботов. Борьба с умными ботами — это плотная работа с командой защиты, поэтому надо грамотно выбрать провайдера: узнать, как обрабатываются различные ситуации, как выстраивается взаимодействие, как провайдер реагирует, какие меры принимает.

Таким образом, обратить внимание надо на техническую совместимость, репутацию и операционный опыт провайдера, а также на эффективность решений при изменении поведения ботов.

Как оценить производительность средств защиты от ботов, не снижая общей скорости работы информационных систем?

Чтобы оценить производительность средств защиты от ботов, необходимо провести тестирование. Важно убедиться, что сервисы защиты существенно не влияют на задержку и не ухудшают пользовательский опыт.

В некоторых случаях проведение дополнительных проверок неизбежно, но их количество должно быть сведено к минимуму. По возможности нужно использовать комплексные решения, которые нивелируют неизбежные задержки за счет географической распределенности серверов, кэширования данных и других преимуществ.

В чем ключевые различия между решениями на базе машинного обучения и традиционными методами защиты от ботов?

Методы машинного обучения и любые статистические инструменты, опирающиеся на ранее полученные данные, позволяют корректировать критерии для принятия решений по новым запросам. Чем больше накопленной информации мы учитываем, тем эффективнее можем принимать решения и минимизировать вероятность ложных срабатываний.

Но хочу отметить, что понятие машинного обучения является довольно обширным. Определить ключевые различия между методами бывает сложно без конкретизации. Тем не менее очевидно, что использование исторической информации — это основа для накопления опыта и улучшения точности принимаемых решений.

Как технологии поведенческого анализа помогают выявлять сложных и маскирующихся ботов?

Если по первому запросу невозможно сказать бот это или нет, необходимо использовать средства идентификации посетителя, которые позволяют отслеживать его дальнейшее поведение, и подключать всевозможный инструментарий поведенческого анализа.

Например, можно использовать анализ запросов на стороне сервера: рассчитывать базовые уровни по разным показателям и вычислять статистические отклонения от них, анализировать последовательность действий, задержки и тому подобное. Также можно анализировать поведение пользователя в браузере: как он переходит между страницами, использует ли клавиатуру и мышь, какие данные предоставляют сенсоры устройств.

Это в совокупности с постоянно актуализируемыми репутационными базами срезает существенную часть очевидно нежелательного паразитного бот-трафика и предоставляет дополнительные данные для уточнения классификации запросов.

Насколько важен фактор искусственного интеллекта в современных решениях для борьбы с ботами, и как его использование улучшает результаты?

На самом деле, понятие «искусственный интеллект» — обширное. Под него можно подвести всё, что помогает накапливать и анализировать информацию; корректировать репутацию запросов, отпечатков, IP-адресов; наполнять базы; строить модели; обучать систему и улучшать алгоритмы.

Основной вопрос в том, что считается искусственным интеллектом. Некоторые специалисты рассматривают его как сложные алгоритмы и машинное обучение, другие — как статистический анализ накопленных данных. Это различие в формулировках может влиять на восприятие технологий, но в любом случае все методы, направленные на накопление информации и ее анализ, вносят вклад в создание эффективной защиты от ботов и положительно влияют на результаты этой непростой и бесконечной битвы.

Какие инструменты автоматизации используются для постоянного мониторинга и обновления систем защиты от ботов?

Нет открытого готового решения для постоянного мониторинга и обновления систем защиты от ботов. Есть отдельные компоненты, которые можно адаптировать под свои нужды.

Каждый провайдер разрабатывает свое комплексное решение, в основе которого множество открытых библиотек и технологий, а также инструменты с открытым кодом. Однако, чтобы это все заработало как единое целое, требуется большая непрерывная работа: разработка и исследования, для которых нужны ресурсы, квалификация и богатый опыт

Как избежать ложных срабатываний при использовании решений для защиты от ботов и минимизировать их влияние на бизнес-процессы?

Нужно покупать решение у провайдеров, которые работают с множеством веб-ресурсов. Такие провайдеры могут анализировать большой объем трафика и накапливать информацию о ботах и легитимных посетителях: их поведении, свойствах. Если у вас свое решение или вы единственный клиент какого-то нового провайдера, то скорее всего на вас и будут учиться.

Полностью исключить ложные срабатывания невозможно, так как злоумышленники постоянно совершенствуют свои методы. Когда мы уже знаем, что является хорошим поведением, а что плохим, система будет корректно реагировать; однако ложные срабатывания происходят в случаях, когда мы еще не можем определить — бот это или человек. Пока мы не получим эту информацию, вероятность ложных срабатываний останется.

Система защиты от ботов должна быть хорошо обучена — и не только на трафике конкретного ресурса, но и на общих знаниях о пользователях интернета. Чем больше такой информации у провайдера, тем лучше обучены его системы и тем меньше вероятность возникновения ложных срабатываний на вашем сайте или приложении.

Если вы хотите минимизировать риски, рекомендуем сначала включить сервис в режиме детектирования, не блокируя запросы. Это позволит изучить трафик и оценить, какое количество запросов может быть заблокировано в будущем. Затем можно принимать решения о включении или отключении блокировок для различных разделов ресурса.

Помимо этого, можно поэтапно усложнять проверку: вместо одноэтапного разделения на «хороших» и «плохих» пользователей проводите дополнительную валидацию, если у вас возникли подозрения.

Какие инновации в защите от ботов мы можем ожидать в ближайшие годы, и на что стоит обратить внимание?

Современные боты становятся все более сложными, в том числе благодаря использованию искусственного интеллекта. Продвинутые боты могут обходить традиционные методы защиты, даже такие как CAPTCHA, и имитировать действия реальных пользователей, что затрудняет их обнаружение.

Всё это приводит к необходимости разработки более продвинутых систем защиты, которые будут строиться на постоянном анализе трафика, расширении репутационных баз и поведенческих моделей.

Как оценить затраты на внедрение и поддержку средств защиты от ботов, и есть ли способы их оптимизации?

Правильнее говорить не о том, как оптимизировать затраты, а о том, как минимизировать свои потери. Это классическая задача информационной безопасности. Вы тратите деньги, чтобы сократить риски и снизить потери. И оптимум находится там, где общие затраты (потери + затраты на ИБ) — в минимуме. Здесь то же самое. Возможно, что конкретная защита стоит в три раза больше, но вы с ней теряете в десять раз меньше.

Например, у одного из наших клиентов боты пытались зарегистрироваться на веб-ресурсе, и на SMS уходило больше 1 млн рублей в месяц. Платить за защиту оказалось намного выгоднее, чем тратить деньги на нелегитимные сообщения от ботов.

Какие ошибки при выборе и настройке средств защиты от ботов могут привести к снижению их эффективности?

Если у вас боты примитивные, то многие стандартные и недорогие средства могут вам помочь. Но если мы говорим о продвинутых ботах, то здесь нет волшебной таблетки.

Вот три совета, которые помогут построить эффективную защиту от ботов.

Во-первых, выбирайте профессионального и опытного провайдера защиты — вам сможет помочь только тот, у кого есть большой опыт и экспертиза.

Во-вторых, будьте готовы к тесному взаимодействию с провайдером: давайте обратную связь, участвуйте в согласовании изменений, предоставляйте всю нужную информацию. «Заплатить и забыть» не получится.

В-третьих, не полагайтесь на универсальные решения. Они если и помогают «от всего», то делают это достаточно посредственно. Все-таки от DDoS-атак должно быть свое специализированное решение, от взломов и нетиповых атак — другое (WAF), от ботов, которые мимикрируют под пользователей, — третье. Выбирайте комплексную услугу, в составе которой есть несколько специализированных интегрированных решений.