Борьба с парсерами и ботами - antiBot

Первый случай
Примерно год назад повадился на сайт парсер который шерстил сайт с разных IP адресов и c разными user agent, воровал информацию.
Сайт по содержанию имел около 10 миллионов страниц и ежедневно обновлялся по 10к страниц в день. Видел его даже в статистике сайта на метрике. Но все не мог придумать как его заблокировать.
Пробовал использовать компонент siteStatistics с костамизаций так чтобы можно было блочить его по IP адресам.
Худо бедно кое как избавился от этого парсера.

Второй случай
Две недели назад, какой то экспериментатор устроил мне атаку на форму регистрации пользователей, и как давай регистрировать по 2-3 пользователей в секунду. Пришлось закрыть сайт на некоторое время чтобы остановить регистрацию и выяснить как от него избавится. В итоге пару кастылей для формы регистрации еще пришлось написать. Но товарища я так и не успел вычислить так как компонент siteStatistics был отключен, и я честно говоря уже даже забыл как им пользоваться.
Кстати в логах сайта шарится не стал, так как понимал все ровно может повторится не на этом сервер так на другом, пришел один прийдет и второй

UPD: цена снижена с 1490 руб до 590 руб, чтобы можно было купить сразу для нескольких сайтов

siteStatistics — ведет статистику, это отлично, но он не для целей защиты от нападения. А мне нужно было чистить тот мусор который скапливается и разрастается в базе данных при каждом запросе, а это проблема. Так же необходимо было вести список IP адресов и USER AGENT которые нужно блокировать, и нужна была возможность редиректа на страницу блокировки или выдачу сообщения о блокировки.

В третий раз
Пишет мне один очень хороший знакомый, с вопросом: а как защитится от ботов которые нагружают сайт своими переходами. Обсудили. Набросал небольшую логику как же все таки можно отсекать ботов + парсеров с сайта. По шарился в интернете, и посмотрев работу кое каких компонентов других CMS, вывел для себя заключения что мне нужно сделать компонент.

Так что прошу знатоков linux, nginx и apache сильно меня не критиковать, так как сам и так знаю что есть всяческие утилиты по блокировки и защите от ботов и парсеров.
Но проблема заключается в том что с помощью них сложно определить кто сейчас парсит сайт или какой бот гуляет у тебя на сайте (особенно если знаешь только php). И вообще это нормальный бот или подделка какого нибудь yandex или google бота.
Все бы ничего, есть разные уловки для блокировки ботов через веб-сервера, но боты то новые появляются, как быть с ними?

antiBot

В общем написал компонент который умеет блокировать ботов и парсеров по IP и USER AGENT с проверкой на фэковых ботов. В будущем планируется добавить блокировку по части IP адреса.

Компонент ведет статистику за 3 дня(это по умолчанию, можно поставить больше) и чистить её по наступлению даты или если дата последней отчитки меньше. Очистка производится один раз в сутки при входе пользователя/бота на сайт.
Это позволяет не захламлять базу данных с переходами и вовремя вычислять парсеров и ботов через список посетителей и хитов

Список хитов

Список посетителей

Блокировка ботов и парсеров

Можно составлять свои СТОП-ЛИСТЫ с блокировкой и выводом сообщения или редиректом на страницу.

Добавление стоп-листа

Блокировка

Запись и блокировка ботов/парсеров/пользователей производится на событии OnHandleRequest что позволяет избавится от бота еще на подходе к самому важно: контенту. То есть бот будет заблокирован до того как будет загружен ресурс, чанки, сниппеты, шаблоны.

Как по мне так это очень полезный компонент который избавит от дополнительной нагрузки на сайт так и защитит от воровства контента.
Уже установил на клиентские сайты на modx с блокировкой ботов AhrefsBot, MJ12bot, DotBot и SemrushBot

Причем я был удивлен когда увидел что на один из моих сайтов-клиентов с небольшой посещаемостью боты делаю переходов на 10000% процентов больше чем живые пользователи.
Так сайт клиента имеющий каталог в 17000 товаров попадал под раздачу этих ботов. Боты делали по 1000 переходов на страницы в сутки, ну вот зачем мне это счастье. А если у меня сотни таких сайтов, что сервер просто будет работать на одних только ботов.

В заключении: возможно есть множество готовые решений по защите от ботов и парсеров, но когда год назад я боролся с парсером, я как то их не мог найти для modx.

Компонент по стоимости 1490 руб.
antiBot

Установить и посмотреть как работает можно на modhost.pro.
Свою демку делать не стал)) Все ровно кто нибудь заблокирует по случайности)))

PS. robots.txt, apache, nginx это круто, но а если новый бот появится?

Обновление от 27.02.2019

Добавлена кнопка для скачивания стоп листов из репозитория для блокировки ботов. После скачивания создаются стоп листы с правилами для блокировки ботов.
Репозиторий будет периодически пополняется новыми правилами блокировки.