Защита от ботов: какие меры эффективны при отражении бот-атак
Технически боты могут быть всего лишь примитивными скриптами, которые приходят с ограниченного количества IP-адресов и явно себя идентифицируют. С отражением таких атак всё понятно, средства митигации давно известны.
Однако умные боты могут приходить с множества IP-адресов, используя промежуточные прокси и настолько мимикрируя под легитимных пользователей, что идентифицировать их становится нетривиальной задачей.
В прошлых статьях разбирались, почему вредоносные боты опасны и какими они бывают.
Сегодня расскажем:
➡️ почему многие средства эффективны только для защите от примитивных ботов;
➡️ как справиться с направленными бот-атаками;
➡️ какие меры считаются эффективными при отражении сложных бот-атак;
➡️ какие есть ТОП-3 рекомендации для тех, кто часто сталкивается с вредоносными ботами.
Почему многие средства эффективны только для защите от примитивных ботов
Многие средства митигации помогают справиться лишь с частью примитивных бот-атак. Например, онлайн-магазин может бороться с ботами, используя фильтрацию по IP-адресу:
- фильтровать трафик по геопризнаку — если онлайн-магазин продает товары только в России, можно сознательно отказаться от тех, кто находится за пределами страны;
- фильтровать трафик по спискам хостеров и датацентров — там не должно быть пользователей-людей, там размещаются только серверы;
- фильтровать трафик по спискам выходных узлов VPN, Tor и подобным признакам — чаще всего, легитимные покупатели специально не скрывают свой реальный IP-адрес.
Однако эффективность подобных средств защиты катастрофически падает по мере усложнения ботов, и вот почему:
- Большие ботофермы часто используют residential proxy — прокси-серверы, которые работают с IP-адресами реальных пользователей, а не с адресами центров обработки данных. Это позволяет умным ботам обходить фильтры, которые обычно распознают и блокируют IP-адреса, принадлежащие дата-центрам. В результате блокировка по IP может затрагивать и легитимных пользователей.
- Ограничение частоты запросов (rate limiting) против умных ботов малоэффективно, так как нет высокой интенсивности запросов с одного IP.
- Фильтрация по заголовкам (например, User-Agent) в борьбе с продвинутыми ботами помогает ровно до того момента, пока бот не научится подделывать заголовок.
- Капча может быть эффективна, но обычно она сильно портит user experience. Команде веб-ресурса предстоит решить, какой удар больнее: потеря выручки от какой-то доли нетерпеливых покупателей или повышение затрат на обработку паразитных запросов.
- Средства защиты от DDoS или WAF не подходят для фильтрации паразитного бот-трафика. Они эффективны, только когда трафик характеризуется заметными аномалиями, а умный бот мимикрирует под легитимного посетителя сайта.
Комбинация всех этих средств в части случаев помогает, но, чаще всего, только тогда, когда атакуют новички или веб-ресурс становится жертвой «ковровой бомбардировки», то есть непрерывной интенсивной бот-атаки. Если же ботами управляет мотивированная команда профессионалов, нацеленная именно на ваш ресурс, — она поразительно быстро найдет варианты обхода таких методов защиты.
Как справиться с направленными бот-атаками
Первым делом стоит определить:
- что является наибольшей болью от бот-атак;
- какой аспект бизнеса веб-ресурса страдает в большей мере;
- насколько сильно вы готовы вкладываться в борьбу с проблемой.
Нужно четко понимать, какую проблему вы прежде всего хотите решить, так как при отражении бот-атак нет универсального решения.
Основная сложность в том, что ботовод может экспериментировать и пробовать атаковать разными способами, применяя любые методы и средства. Он может делать это когда угодно и в любой комбинации — время и инициатива на его стороне. А вот тем, кто отражает атаки, нужно действовать крайне внимательно и аккуратно, чтобы не сломать работающий веб-ресурс и не ограничить доступ к нему для легитимных пользователей.
Чтобы достойно противостоять направленным бот-атакам, стоит иметь сильную команду и экспертизу. Каждая «дуэль» дает опыт, улучшает продукт, повышает эффективность мер противодействия, помогает находить новые методы и инструменты для отражения будущих бот-атак.
Какие меры считаются эффективными при отражении сложных бот-атак
В идеале нужно стремиться выявить и заблокировать бота уже с первого запроса, но обычно при применении базовых инструментов команде не хватает данных для принятия решения.
Если по первому запросу невозможно сказать бот это или нет, можно использовать средства идентификации, которые позволяют отслеживать его дальнейшее поведение. Если c IP-адреса совершаются вредоносные действия, значит это и есть злодей (и уже не так важно, бот это или просто нехороший человек), мы знаем что с ним делать — его надо заблокировать.
Поэтому основная задача при борьбе с умными ботами — это идентификация и классификация посетителей, а также выявление фактов фальсификации данных.
Например, при направленной бот-атаке мы в NGENIX используем продвинутый комплекс методов проверки и идентификации источников запросов:
- анализ отпечатков устройств и приложений, в том числе анализ HTTP-заголовков, отпечатков браузеров и TLS-отпечатков;
- проверку несоответствия комбинаций HTTP-заголовков и фингерпринтов — браузеры имеют характерные сочетания различных свойств, на это можно опираться;
- анализ поведения пользователя в браузере;
- механизмы обнаружения подмены присылаемой информации на разных уровнях, чтобы не допускать маскировки ботов под реальных клиентов.
Это в совокупности с накапливаемыми репутационными базами срезает существенную часть очевидно нежелательного паразитного бот-трафика и предоставляет данные для анализа оставшегося трафика.
Надо понимать, что каждый подход сам по себе не гарантирует успех, но существенно повышает его вероятность в совокупности с другими методами. Важно постоянно ставить эксперименты, гибко и быстро адаптироваться к каждой новой атаке, смотреть, что работает, а что нет.
ТОП-3 рекомендации для тех, кто часто сталкивается с вредоносными ботами
Рекомендация № 1
Универсального решения («волшебной таблетки») не существует. Ключ к успеху и эффективной защите — комплексный подход и опыт команды.
Рекомендация № 2
Хорошая защита начинается с уровня дизайна приложений. Информационная безопасность должна быть заложена в архитектуру, а не наложена сверху, когда все уже разработано.
Разграничивайте интерфейсы взаимодействия, контролируйте доступы, защищайте API токенами, интегрируйте различные механизмы верификации и ограничения. Думайте о вероятных негативных сценариях еще на этапе проектирования решения, на всех уровнях техники и бизнес-логики.
Встроенная безопасность гораздо эффективнее любых наложенных средств, а вместе с ними обеспечивает максимум защиты.
Рекомендация № 3
Главные составляющие успеха при борьбе с ботами:
- опытная ИБ-команда (внешняя или внутренняя);
- оперативное взаимодействие между ИБ-командой и владельцем веб-ресурса.
Нужна плотная кооперация команды ИБ или провайдера с владельцем ресурса. При нестандартных бот-атаках заранее всего не предусмотришь, поэтому учиться и адаптироваться приходится вместе и на ходу. Чем сложнее бот и значительнее ресурс — тем важнее это условие. Не стоит ждать готового решения — его не существует. Решение нужно вырабатывать вместе, постоянно делиться друг с другом инсайтами и совместно анализировать результат.
🧑💻 Узнать больше о вредоносных ботах можно в других наших статьях:
«Бот-атака ≠ DDoS-атака: что такое паразитный бот-трафик и почему умные боты опасны», где мы рассказали, что такое бот-атака и умные боты; чем бот-атаки отличаются от DDoS-атак; почему умные боты опасны для сайта; кто в зоне риска и как именно паразитный бот-трафик вредит сайту.
«Боты-вредители: какие есть виды вредоносных ботов», где мы рассказали, чем могут различаться боты и кто такие ботоводы; какие виды ботов существуют и какой вред боты могут нанести.