Борьба с ботами: почему сложно защищать сайт от ботов и какие меры защиты неэффективны
В последнее время боты заметно эволюционировали и стали гораздо умнее, чем раньше. Они научились хорошо имитировать действия легитимных пользователей, и теперь их сложнее обнаруживать в общем потоке запросов. Сейчас борьба с ботами — критически важная задача для онлайн-бизнеса. Мы в NGENIX давно изучаем ботов и регулярно проверяем, какие методы защиты от ботов реально работают, а что устарело и уже не показывает высокую эффективность.
Сегодня расскажем:
➡️ какие проблемы доставляют боты онлайн-бизнесу;
➡️ почему сейчас сложно бороться с продвинутыми ботами;
➡️ что мы узнали о ботах, пока тестировали разные методы защиты.
Какие проблемы доставляют боты онлайн-бизнесу
В 2024 году наблюдался значительный рост нежелательного бот-трафика. Активность проявляли парсеры, скальперы, спамеры, смс-бомберы, кликеры, боты для брутфорса и поиска уязвимостей.
Каждый тип бизнеса сталкивается с уникальными угрозами от разных ботов. Например, интернет-магазины и маркетплейсы часто страдают из-за скальперов. Эти боты стремительно бронируют товар, чтобы реальные покупатели не могли приобрести его. Иногда скальперы выкупают товар во время акций по дешевой стоимости, чтобы злоумышленник мог перепродать его по более высокой цене. Больше о видах ботов и их влиянии на бизнес мы рассказывали здесь.
В прошлом году к нам обращались крупные компании с такими проблемами:
➡️ У одного клиента больше половины всех запросов шло от ботов — это сильно искажало бизнес-метрики.
➡️ У другого — из-за ботов в три раза выросли затраты на динамическую инфраструктуру. Клиенту приходилось платить за обслуживание запросов, которые были нецелевыми для бизнеса.
➡️ У третьего клиента свыше 1 миллиона рублей в месяц уходило на SMS. Боты инициировали авторизацию и создавали множество запросов на получение SMS-кодов подтверждения.
Боты — это удар напрямую по бизнесу. Они могут бронировать товары в интернет-магазинах, собирать данные с сайтов, подбирать логины с паролями и не только. Основная сложность защиты в том, что продвинутого бота тяжело отличить от легитимного пользователя. Однако это не единственная проблема.
Почему сейчас сложно бороться с умными ботами
Причина № 1: Запустить бота можно легко и дешево.
У оппонентов есть целая экосистема инструментов для быстрой и недорогой реализации ботов:
- специальные сборки управляемых браузеров, которые имитируют поведение реальных пользователей;
- пулы IP-адресов для динамической смены геолокации и минимизации рисков блокировки и не только.
Причина № 2: Ботов обучают технически подкованные специалисты.
Бороться с ботами непросто, ведь по ту сторону баррикад, чаще всего, находятся высококвалифицированные технические специалисты. Разработчики ботов постоянно совершенствуют инструменты и обучают ботов обходить механизмы защиты. Они действуют на опережение, поэтому сайты могут страдать от бот-атак, пока компании ищут контрмеры. Но опыт провайдеров защиты растет, оппонентам приходится придумывать более сложные и затратные методы обхода защиты.
Причина № 3: Жесткие меры митигации повышают риск возникновения false positive.
Сейчас сложно отличать ботов от людей, потому что автоматизированные инструменты хорошо мимикрируют под легитимных пользователей. Каждый запрос нужно тщательно анализировать, только так можно минимизировать количество ложноположительных срабатываний. Полностью исключить false positive невозможно, так как злоумышленники постоянно совершенствуют методы бот-атак.
Сократить количество ложноположительных срабатываний может постоянный сбор информации о поведенческих паттернах. Когда система четко идентифицирует характеристики «хорошего» и «плохого» поведения, она способна быстро и корректно реагировать на потенциальные угрозы. Однако в переходных состояниях, когда невозможно однозначно определить природу активности — бот это или человек, — вероятность ложноположительных срабатываний остается высокой.
Эффективность защиты от ботов напрямую зависит от качества обучения системы. Нужно использовать не только специфический трафик конкретного ресурса, но и, в целом, обобщенные данные о поведении интернет-пользователей. Чем разнообразнее информационная база провайдера, тем точнее его системы и ниже риск возникновения false positive. Подробнее об этом читайте в нашем большом интервью для CISOCLUB.
Причина № 4: Искусственный интеллект упрощает жизнь разработчикам ботов.
Искусственный интеллект предоставляет разработчикам ботов широкий пул возможностей. Например, помогает максимально точно имитировать человеческое поведение, создавать алгоритмы обхода защитных систем, адаптироваться под меняющиеся фильтры и существенно затруднять возможности идентификации.
Причина № 5: Волшебной таблетки для борьбы с ботами нет.
Открытого готового решения для эффективной защиты от ботов нет. Есть отдельные компоненты, которые можно адаптировать под свои нужды. Каждый провайдер защиты вынужден разрабатывать собственное комплексное решение, используя различные библиотеки, передовые технологии и инструменты с открытым исходным кодом. Но превращение этих разрозненных элементов в эффективную, интегрированную систему защиты — это сложный, многоуровневый процесс. Он требует колоссальных инвестиций: постоянных исследований, непрерывной разработки, глубокой экспертизы и значительных интеллектуальных и временных ресурсов.
Мы поставили себе цель — научиться еще быстрее обнаруживать и точнее блокировать продвинутых ботов. Данных для анализа у нас много, потому что мы пропускаем через себя трафик крупных веб-ресурсов, а это терабиты и миллионы запросов в секунду.
Для этого в NGENIX был создан «Центр Исследования и Реагирования на Киберугрозы». В команду входят инженеры, разработчики, дата-аналитики и продуктологи. Центр изучает существующие практики, придумывает новые эксперименты, проверяет их на реальном трафике и внедряет то, что показывает высокую эффективность.
Что мы узнали о ботах, пока тестировали разные методы защиты
Изучение ботов начали с применения подходов, которые описаны в открытых источниках, и сделали несколько важных выводов.
Вывод № 1: Боты активно используют динамическую смену IP-адресов.
Боты заходят на сайт с сотен тысяч уникальных IP-адресов и быстро меняют их. Такой подход дает возможность обходить системы детектирования аномальной активности IP-адресов.
Вывод № 2: Боты умеют обходить jsChallenge.
Боты не выполняют код при прохождении jsChallenge. Разработчики ботов делают реверс инжиниринг jsChallenge и учат ботов успешно его проходить вне браузера.
Вывод № 3: Блокировка на основе browser fingerprinting и canvas fingerprinting не всегда эффективна.
Техника browser fingerprinting — это идентификации пользователей через уникальный набор характеристик (отпечатков) их браузера и устройства. Блокировка с помощью этой техники не всегда приносит результат, потому что боты умеют подделывать данные и присылают фальшивые браузерные отпечатки.
Техника canvas fingerprinting позволяет определить операционную систему и движок браузера на основе особенностей отрисовки графики. Однако она также показывает низкую эффективность, потому что оппонент полностью контролирует среду выполнения кода проверок и может подставить любые данные.
Так что нужно собирать данные параллельно из разных источников и проверять их консистентность — это один из самых важных уроков, который мы усвоили.
Вывод № 4: Нужна проверка, которая покажет, что источник запроса — точно браузер.
После экспериментов, описанных выше, мы поняли, что важно заставить оппонентов использовать браузеры. Дело в том, что боты потребляют вычислительные ресурсы, за которые нужно платить. А для того, чтобы выполнять проверки в браузере, вычислительных ресурсов нужно гораздо больше. Для проверки решено было использовать эксклюзивные функции браузеров — такие как рендеринг HTML и CSS. На основе рендеринга мы придумали и реализовали проверку, которая позволяет убедиться, что процесс, прошедший проверку, — браузер.
Вывод № 5: Стандартная CAPTCHA больше не работает, ее нужно усовершенствовать.
Последним рубежом систем защиты от автоматизированного трафика, как правило, является CAPTCHA. Использовать её крайне нежелательно — люди не любят отмечать квадратики со светофорами.
Но все-таки иногда это единственный вариант для определения бота. Основой для CAPTCHA являются задачи, которые с лёгкостью решаются человеком, но крайне сложны и трудоёмки для автоматизации. Однако с развитием моделей искусственного интеллекта количество таких задач стремительно сокращается.
Текущие модели ИИ решают стандартные капчи лучше людей. Поэтому мы решили разработать свой прототип CAPTCHA, где успешность прохождения проверки определяется не тем, что задача решена, а тем, как она решена. В основу заложили два важных принципа. Во-первых, задачи должны быть максимально лёгкими и игровыми. Во-вторых, в процессе решения задач должно генерироваться много поведенческих сигналов, ведь обучить модель, которая при решении задачи генерировала бы такой же профиль поведения, как люди, гораздо сложнее.
Разработанный нами прототип подтвердил основную гипотезу. Так что мы продолжаем улучшать пользовательский опыт и накапливать поведенческие данные. Но об этом расскажем позже — следите за обновлениями блога.
🧑💻 Узнать о ботах больше можно в других наших материалах:
«Бот-атака ≠ DDoS-атака: что такое паразитный бот-трафик и почему умные боты опасны», где мы рассказали, что такое бот-атака и умные боты; чем бот-атаки отличаются от DDoS-атак; почему умные боты опасны для сайта; кто в зоне риска и как именно паразитный бот-трафик вредит сайту.
«Боты-вредители: какие есть виды вредоносных ботов», где мы рассказали, чем могут различаться боты и кто такие ботоводы; какие виды ботов существуют и какой вред боты могут нанести.