Обзор фильтров для интернет-магазинов

Для MiniShop планируется сделать фильтры встроенные в него. Вопрос как и каким образом их делать? Я разбирался в фильтрах mFilter2, пробовал делать mapFilter и, сейчас, искал в интернете реализации фильтров. Насколько нашел есть 4 способа реализации фильтра. Под катом их обзор.


1) SQL-запросы. При выборе какого-то фильтра формируется SQL-запрос, который и вытаскивает из базы нужные товары. Например Фильтры в интернет-магазине. Урок 4. Пишем базовый php-код.
Но здесь, недостаток. Такие фильтры пишутся для конкректных наборов товаров и фильтров. То есть их не включишь в minishop3. У каждого магазина свой набор и им нужно писать такие фильтры самостоятельно.
В mv-framework эта задача, например, облегчена но все равно нужно программирование https://mv-framework.ru/filtratciia/.
В принципе можно написать оболочку, что будет конструировать SQL-запросы для опций minshop3, но это надо изучать и писать. По скорости работы таких фильтров ничего сказать не могу.

2) Аутсорсинг фильтров Фильтры можно просто отдать на аутсорс. Например https://multisearch.io/. Не пробовал, но возможность интересная. Во всяком случае, там реализованно много фишек для более лучшего фильтра. Например исправление ошибок и опечаток и исправление раскладки.

3) mFilter2.
mFilter2 не строит SQL-запросы для фильтрации, а собирает нужные опции товаров в массив типа

$filter = [
    'таблица|опция1'=>[
          'значение1 опции1'=>[
                'id товара с этой опцией1',
                'id товара с этой опцией2',
                'id товара с этой опцией3',
                и т.д.
          ],
          'значение2 опции1'=>[
                'id товара с этой опцией1',
                'id товара с этой опцией2',
                'id товара с этой опцией3',
                и т.д.
          ],
          и т.д.
    ],
    и т.д.
];

Теперь если в фильтре выбрано 'значение1 опции1','значение3 опции1' и 'значение1 опции3', то mFilter2 собирает массив1 все id товаров для 'значение1 опции1' добавляет все id для 'значение3 опции1', собирает массив2 id 'значение1 опции3' и делает уникальное пересечение этих массивов( то есть собирает массив из id которые есть и в массив1 и в массив2. Причем берет только те id которых в нем еще нет). делается это в функции Filter.
suggestions получает отправляя в функцию Filter тот же выбор фильтров, добавляя в него значение для которого считается suggestions.
mFilter2 тупит в основном на получении опции товаров в массив. Если массив закешировать (Кешируем mFilter2), то фильтрация и suggestions работают быстро.
На каталоге с 11706 товаров.
Сбор данных для фильтра из базы в массив занимает 39.1501031с
фильтрация с suggestions 0.8021080с.

Особенность mFilter2, что массив опции товаров создается только для товаров в выбранном каталоге. Если разбить товары по каталогам с 10 000 товоров в каталоге, то кешированный mFilter2 может быстро работать и на 1 000 000 товаров думаю. Но не пробовал конечно. Но 50 000 товаров точно работать будут.

4) mapFilter .
В mapFilter(https://github.com/touol/mapFilter) пробовал реализовать такую идею.
База некоторые операции делает быстрее кода. А собирание id в масcив это просто where `значение опции` IN ('значение1','значение2') а пересечение массивов — это INNER JOIN.
mapFilter делает в базе 4 таблицы: mfOption -> список опций, mfOptVal -> таблица id опции — значение опции, mfResVal — > id значения опции — id товара, mfCategoryChild -> список id товаров в категории.
Для опции for_whom id значения 607 SQL-запрос, фильтрующий товары, будет:

SELECT *
FROM `modx_mapfilter_category_childs` AS `mfCategoryChild`
JOIN `modx_mapfilter_options_resource_values` `for_whom` ON for_whom.resource_id = mfCategoryChild.resource_id
JOIN `modx_site_content` `modResource` ON modResource.id = mfCategoryChild.resource_id
JOIN `modx_ms2_products` `Data` ON Data.id = mfCategoryChild.resource_id
WHERE `for_whom`.`value_id` IN ('607')
ORDER BY modResource.menuindex ASC
LIMIT 20;

В тестах выяснились следующие результаты:
На каталоге с 11706 товаров.
Загрузка каталога с фильтром

0.0007010: mapFilter start
0.5347850: getFilter
1.0177059: getFilter getOptions
0.0010240: getFilter prepareRequest
0.2693081: getSuggestions2
0.0229859: getSuggestions2
0.2386901: getSuggestions2
0.0774949: getSuggestions2
0.0205290: getSuggestions2
0.1115170: getSuggestions2
0.0648751: getSuggestions2
0.0280590: getSuggestions2
0.0214498: getSuggestions2
0.0044181: getSuggestions2
0.0487919: getSuggestions2
0.0001740: getFilter getSuggestions2
0.0159881: filter init
0.2298169: filter getResources
0.0150809: filter getOptions
2.7234099: Total time
2 097 152: Memory usage

фильтрация

0.0000539: filter init
0.1498890: filter getResources
0.0353141: filter getOptions
0.2935281: getSuggestions2
0.0499680: getSuggestions2
0.2742038: getSuggestions2
0.1711061: getSuggestions2
0.2710280: getSuggestions2
0.2764280: getSuggestions2
0.1371169: getSuggestions2
0.2698560: getSuggestions2
0.0342002: getSuggestions2
0.0048778: getSuggestions2
0.0064230: getSuggestions2
0.0001552: getFilter getSuggestions
1.9741569: Total time
2 097 152: Memory usage

То есть, как выяснилось, mapFilter работает медленнее кешированного mFilter2.
Возмозно запросы можно было как то оптимизировать, но сейчас на ум ничего не приходит :-(.
Скорость зависит от размера таблицы mfResVal — > id значения опции — id товара. Сейчас там 200 000 строк. Это от 27т. товаров. При 400 000 строк скорость будет около 6-10с.

Выводы
Я думаю для minishop будет лучше просто обновить mFilter2. И не включать фильтры в поставку. Возможно у Вас другое мнение. И возможно Вам есть, что добавить по методам фильтрации. Буду признателен, если напишете в комментариях.

PS
Чтоб найти что-то в интернете нужно знать нужные слова :-). Проблема фильтрации в интернет-магазинах называется фасетный поиск. И https://yandex.ru/search/?text=Фасетный поиск дает уже кучу информации как его организовывать. В основном применяются специальные базы данных Sphinx/ElasticSearch/etc.
Тонкости фасетного поиска на массивах, таких же как применил @Василий Наумкин в mFilter2, описаны в статье История разработки фасетного поиска средствами PHP. И текущему автору mSearch2 стоит ее прочитать :-).