Борьба с парсерами и ботами - antiBot


Первый случай
Примерно год назад повадился на сайт парсер который шерстил сайт с разных IP адресов и c разными user agent, воровал информацию.
Сайт по содержанию имел около 10 миллионов страниц и ежедневно обновлялся по 10к страниц в день. Видел его даже в статистике сайта на метрике. Но все не мог придумать как его заблокировать.
Пробовал использовать компонент siteStatistics с костамизаций так чтобы можно было блочить его по IP адресам.
Худо бедно кое как избавился от этого парсера.

Второй случай
Две недели назад, какой то экспериментатор устроил мне атаку на форму регистрации пользователей, и как давай регистрировать по 2-3 пользователей в секунду. Пришлось закрыть сайт на некоторое время чтобы остановить регистрацию и выяснить как от него избавится. В итоге пару кастылей для формы регистрации еще пришлось написать. Но товарища я так и не успел вычислить так как компонент siteStatistics был отключен, и я честно говоря уже даже забыл как им пользоваться.
Кстати в логах сайта шарится не стал, так как понимал все ровно может повторится не на этом сервер так на другом, пришел один прийдет и второй

UPD: цена снижена с 1490 руб до 590 руб, чтобы можно было купить сразу для нескольких сайтов
Андрей Степаненко
26 февраля 2019, 19:19
6
572
+14

Благодарности автору

Привет, друзья!

Вчера Хабр анонсировал Пользовательское вознаграждение авторам Хабра, и я подумал — а чем мы хуже?

С сегодняшнего дня вы можете указывать реквизиты для платёжных сервисов в своих настройках, и сразу после этого у вас появится кнопочка в профиле и в заметках, рядом с именем. Пока что добавил вот эти сервисы:
  • Яндекс.Деньги
  • Paypal
  • Qiwi
  • Donation Alerts
  • WebMoney
Василий Наумкин
28 февраля 2019, 12:39
2
568
+26

MODX-Дайджест #1 (25 февраля – 11 марта 2019)

Свежая подборка новостей о MODX. В выпуске: иконки для типов содержимого, рефакторинг 3 ветки от Джейсона, работа над новой документацией, благодарности автору на modx.pro и видео выступлений со всех минских MODX-мероприятий.

Приятного чтения!

Иван Климчук
13 марта 2019, 03:40
5
451
+32

Чистка пользователей сообщества

Вслед за упоминанием пользователей пришлось и почистить наши username, потому что там столько всякий дичи, еще со времён bezumkin.ru!

Первым делом я отключил все аккаунты, которые не заходили сюда больше года. Из 7+ тысяч пользователй осталось всего 2+. А затем уточнил правила для username пользователей:
  • Логин должен быть от 2 и до 50 символов
  • Содержать английский алфавит, цифры, точку, тире и подчёркивание.
  • Должен начинаться и заканчиваться цифрой или буквой
  • Цифры, точки и подчеркивания не могут повторяться подряд
И теперь все активные аккаунты этим правилам соответствуют.
Василий Наумкин
13 марта 2019, 11:47
436
+16

Упоминание пользователей

Привет друзья!

Рад анонсировать новую функцию в нашем сообществе, которая давно стала привычной на всех крупных сервисах — это возможность упомянуть пользователя, чтобы ему пришло уведомление, а само упоминание стало ссылкой на его профиль.

Работает как обычно, просто начните набирать @ и вам вылезет автоподсказка. Продолжайте набирать имя, и найдёте нужного пользователя.

Примерно так:
Василий Наумкин
12 марта 2019, 16:26
2
435
+19

[Theme.Bootstrap] Новая версия с Bootstrap 4

Привет, друзья!

Наконец-то у меня дошли руки до обновления Theme.Bootstrap, который не менялся аж с 2017 года. Причина проста — если переводить его на Bootstrap 4, то нужно менять и стандартные чанки у кучи дополнений, а это долго.

В итоге, вместе с Theme.Bootstrap были обновлены и:
  • pdoTools
  • miniShop2 (помимо чанков вошли еще несколько правок, см. changelog)
  • mSearch2 (а здесь чанки даже на Fenom переписаны, ура!)
  • Office
Обновлённые дополнения теперь сразу из коробки предлагают адаптивные чанки, заточенные именно под Bootstrap 4.3.1 с flexbox. На Tickets у меня сил уже не хватило, может, кто другой сделает.
Василий Наумкин
17 марта 2019, 09:52
417
+25

Модкаст! Первый выпуск подкаста, в котором говорим о MODX

Привет.

Когда я анонсировал идею запуска дайджеста, я упомянул, что наверное неплохо было бы еще и сделать аудио-версию в виде подкаста.

Что ж, это тоже случилось, хоть и немного позже из-за технических вопросов, но о них расскажу несколько позже, а пока можете слушать первый выпуск подкаста «Модкаст», в котором говорим о MODX.



Вот ссылки на аудио-версию: SoundCloud и прямая ссылка на файл (кому где удобнее).

Иван Климчук
17 марта 2019, 23:59
1
403
+33

Генерация превью в формате webp для miniShop2

С приходом поддержки webp в MODX участились вопросы о возможности генерации превью товаров miniShop2 в этом формате. По началу казалось что все должно работать из коробки, но на практике этого нет.
Причиной оказалось отсутствие расширения webp в источнике файлов MS2 и в двух системных настройках ('upload_files','upload_images').
Petr Golovatyy
14 марта 2019, 06:57
10
390
+11

[Решено] Как подцепить редактор Ace к полю во всплывающем окне MIGX?

Как добавить Ace к обычным полям ресурса типа introtext, description, или TV-полям, я знаю. Но возникла необходимость сделать это для textarea-полей во всплывающем окне MIGX. Ситуация осложняется тем, что код окна подгружается аяксом… Кто-нибудь знает как это можно сделать, хотя бы примерно?

Николай
03 марта 2019, 01:24
12
366
+6

[mSearch2] Версия 1.13 с поддержкой плагинов ms2

Представляю вам новую версию самого популярного дополнения в modstore.pro, которая улучшает работу фильтра с дополнениями для скидок.

Как известно, mFilter2 работает напрямую с базой данных, чтобы выбирать все данные для построения фильтров максимально быстро. И если эти данные чем-то меняются перед выводом, например дополнением msDiscount, то в фильтре цены будут одни значения, а при выводе товаров — другие.

Раньше мы просто расширяли фильтр и добавляли поддержку плагинов при выборке, но в новой версии это сделано из коробки.
Василий Наумкин
11 марта 2019, 07:21
4
344
+14