ModX и несколько миллионов ресурсов
Привет! Подскажите, ModX подходит для нескольких миллионов ресурсов (или minishop-товаров)? Знаете ли примеры ModX-сайтов с таким количеством ресурсов/товаров?
09 июля 2019, 00:49
Комментарии: 17
Как-то ради интереса сгенерил около 1 млн ресурсов на голом сайте. Создавал через runProcessor, чтобы эксперимент был близок к реальности. Так каждый последующий ресурс создавался дольше предыдущего. При чём ближе к цели сохранение ресурса (а точнее сброс и создание кеша) доходило до нескольких секунд. Я уже не говорю о том, что дерево ресурсов просто подвисло (считай, админка перестала функционировать).
В общем, на ресурсах с такими объёмами далеко не уедешь. Тут либо создавать свою альтернативу ресурсам, либо использовать другие технологии вообще.
В общем, на ресурсах с такими объёмами далеко не уедешь. Тут либо создавать свою альтернативу ресурсам, либо использовать другие технологии вообще.
Под такой объем документов/страниц только самопись или какие-то CMS подойдут?
Очень жаль, что на родненький ModX нельзя рассчитывать. С SeoFilter вообще, наверное, не откроется?..
Разделение на разных категорий по разным сайтам с разными БД (site.ru/cat1/, site.ru/cat2/) будет одним из вариантов решений?
Очень жаль, что на родненький ModX нельзя рассчитывать. С SeoFilter вообще, наверное, не откроется?..
Разделение на разных категорий по разным сайтам с разными БД (site.ru/cat1/, site.ru/cat2/) будет одним из вариантов решений?
Генерация моделей, подсоединение дополнительных полей и опций с других таблиц, работа всего этого множества с кешем…
Надо продумать свою таблицу с товарами так, чтобы все поля были оптимизированными и адаптированными под ваши нужды. Чтобы не было ни одного лишнего поля. Зато чтобы все опции товаров были в той же таблице (чтобы не делать отдельный запрос в другую таблицу на фронте).
После этого можно конечно сгенерировать модель таблицы, но работать с ней практически не прийдётся, каждый запрос нужно будет оптимизировать по-максимому. Для этого пишешь свои сниппеты для работы с твоей таблицей, где выполняешь чистый SQL-код, по этому образцу.
Вообще при таких объёмах, каждый запрос нужно будет оптимизировать. Выигрывать миллисекунды прийдётся и за счёт Fenoma и файловых элементов.
В итоге, в админке мы имеем только основные страницы и категории, а все миллионы товаров в своей таблице оптимизированной по-максимому. Админка будет работать шустро, а для управления товарами из своей таблицы можно будет сделать отдельную заточенную админку, в закрытом разделе сайта.
Ну и конечно же сервер должен соответствовать объёмам, на обычном хостинге это не запустится, лучше арендовать сервер.
Надо продумать свою таблицу с товарами так, чтобы все поля были оптимизированными и адаптированными под ваши нужды. Чтобы не было ни одного лишнего поля. Зато чтобы все опции товаров были в той же таблице (чтобы не делать отдельный запрос в другую таблицу на фронте).
После этого можно конечно сгенерировать модель таблицы, но работать с ней практически не прийдётся, каждый запрос нужно будет оптимизировать по-максимому. Для этого пишешь свои сниппеты для работы с твоей таблицей, где выполняешь чистый SQL-код, по этому образцу.
Вообще при таких объёмах, каждый запрос нужно будет оптимизировать. Выигрывать миллисекунды прийдётся и за счёт Fenoma и файловых элементов.
В итоге, в админке мы имеем только основные страницы и категории, а все миллионы товаров в своей таблице оптимизированной по-максимому. Админка будет работать шустро, а для управления товарами из своей таблицы можно будет сделать отдельную заточенную админку, в закрытом разделе сайта.
Ну и конечно же сервер должен соответствовать объёмам, на обычном хостинге это не запустится, лучше арендовать сервер.
стандартно из коробки 1000 товаров и 10 доп. тв полей-цена/размер/итд, всё выше — будет заметно тормозить, лучше разбить на категории, каталоги, молосвязанные сегменты, и сделать нес-ко магазинов-отдельных сайтов на модх с отдельными БД, а управление всем вцелом из гугл скриптов-таблиц, или свой софт. Так будет и по скорости и надежности лучше: одно сломается и не вся таблица 1м полетит, а часть- остальные работают дальше. Да и кому надо список однотипных товаров? Юзеру легче из 10 выбрать чем из 1000, когда он там будет всё просматривать и изучать… и монополисты это зло, лучше 1000 маленьких магазинов-конкуренция больше.
Но если сильно надо, то можно.
1. перейти на минишоп- там тв можно в опции-они работают быстрее, но большинство для ms2 модулей — платные и все равно 1 шт =объект поэтому сильно быстрей не будет, но будет сильно дороже :)
2. оптимизировать модх движок.
— самое простое — выкинуть id и индекс из таблицы тв значений — она там не нужна и сделать индекс по value(10), сразу будет на 3-7% быстрее.
— доп.поля хранить не в тв. а добавлять столбцы к таблице ресурсов- своими ф-ями, будет что-то вроде минишопа. Но поля в осн. таблице поддерживаются всеми. есть минусы: типы: число/строка и знач. по умолч=0.
Но можно списки писать строками [raz,dva,tri] — и можно их сортировать и фильтровать, но это не очень удобно.
— переписать пол движка модх- заменить одиночные процедуры — массовыми, например создание товара — аргумент не массив ключ-значение, а массив массивов — сразу по 100-500-1000 шт- и она там внутри пишет одним запросом или через сохраненные sql процедуры, а не 1000-3000 запросов как сейчас — это очень сильно ускорит, но надо будет переписывать почти все модули чтобы они это поддерживали — это дорого. Этим вобще проф. разработчики движка должны заниматься, а не одиночные фрилансеры-любители, у меня это есть частично. Если надо, то могу продать/научить/проконсультировать, пишите в личку.
Есть еще битрикс, опенкарт, престашоп- там можно больше хранить, но нет кастомизации как в модх, что-то свое там сделать очень тяжело и лучше юзать стандартные шаблоны и модули, ну немножко можно дизайн поправить, но сильно там что-то поменять будет трудно, долго и дорого.
Но если сильно надо, то можно.
1. перейти на минишоп- там тв можно в опции-они работают быстрее, но большинство для ms2 модулей — платные и все равно 1 шт =объект поэтому сильно быстрей не будет, но будет сильно дороже :)
2. оптимизировать модх движок.
— самое простое — выкинуть id и индекс из таблицы тв значений — она там не нужна и сделать индекс по value(10), сразу будет на 3-7% быстрее.
— доп.поля хранить не в тв. а добавлять столбцы к таблице ресурсов- своими ф-ями, будет что-то вроде минишопа. Но поля в осн. таблице поддерживаются всеми. есть минусы: типы: число/строка и знач. по умолч=0.
Но можно списки писать строками [raz,dva,tri] — и можно их сортировать и фильтровать, но это не очень удобно.
— переписать пол движка модх- заменить одиночные процедуры — массовыми, например создание товара — аргумент не массив ключ-значение, а массив массивов — сразу по 100-500-1000 шт- и она там внутри пишет одним запросом или через сохраненные sql процедуры, а не 1000-3000 запросов как сейчас — это очень сильно ускорит, но надо будет переписывать почти все модули чтобы они это поддерживали — это дорого. Этим вобще проф. разработчики движка должны заниматься, а не одиночные фрилансеры-любители, у меня это есть частично. Если надо, то могу продать/научить/проконсультировать, пишите в личку.
Есть еще битрикс, опенкарт, престашоп- там можно больше хранить, но нет кастомизации как в модх, что-то свое там сделать очень тяжело и лучше юзать стандартные шаблоны и модули, ну немножко можно дизайн поправить, но сильно там что-то поменять будет трудно, долго и дорого.
Тестировалось на 1-2 миллионах ресурсов. Системные настройки приходилось тщательно обрабатывать напильником.
Из того, что падает и невозможно использовать:
1. mSearch2 — первый камень в огород Наумкина. Но и его понять можно — предусмотреть идеальный вариант для всех сайтов задача непосильная.
2. pdoPage — катастрофа астрономических масштабов. Постраничная навигация тоже делается своими силами. Всему виной передача всех id в дочерний сниппет.
3. Стандартная постраничная навигация в товарной админке сжирает RAM. но частично работоспособна.
Из серьёзных ограничений:
1. msProducts нужно запускать аккуратно, хорошо подбирая для него параметры.
2. Максимум 1 TV, максимум 1 свойство у товаров miniShop2 (если оно есть у всех товаров). Всё из-за особенностей таблиц БД.
3. Успех запуска pdoMenu сильно зависит от дерева категорий.
Очевидно, что регулярный импорт такой кучи товаров тоже нужно продумывать своими силами, чтобы избежать дублей, особенно если поставщиков тоара много, обновляются они когда попало и как попало.
Время генерации страницы каталога в среднем около 3 секунд, что для автомобилистов вполне терпимо.
Тот самый пример.
Из того, что падает и невозможно использовать:
1. mSearch2 — первый камень в огород Наумкина. Но и его понять можно — предусмотреть идеальный вариант для всех сайтов задача непосильная.
2. pdoPage — катастрофа астрономических масштабов. Постраничная навигация тоже делается своими силами. Всему виной передача всех id в дочерний сниппет.
3. Стандартная постраничная навигация в товарной админке сжирает RAM. но частично работоспособна.
Из серьёзных ограничений:
1. msProducts нужно запускать аккуратно, хорошо подбирая для него параметры.
2. Максимум 1 TV, максимум 1 свойство у товаров miniShop2 (если оно есть у всех товаров). Всё из-за особенностей таблиц БД.
3. Успех запуска pdoMenu сильно зависит от дерева категорий.
Очевидно, что регулярный импорт такой кучи товаров тоже нужно продумывать своими силами, чтобы избежать дублей, особенно если поставщиков тоара много, обновляются они когда попало и как попало.
Время генерации страницы каталога в среднем около 3 секунд, что для автомобилистов вполне терпимо.
Тот самый пример.
Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
Здесь упомянуты:
| Компонент | Текущая версия | Закачки |
| miniShop2 | 4.4.0-pl от 06.08.2024 | 26 134 |
| SeoFilter | 1.11.0-beta от 30.10.2023 | 2 629 |
| mSearch2 | 1.14.11-pl от 02.05.2023 | 18 963 |
| pdoTools | 2.13.2-pl от 02.09.2021 | 54 139 |
27 декабря 2024, 15:56
Ух, класс! Вот так работает:
$array = array(111, 112);
if(in_array($modx->controller->resource->get('id'), $array)) {
$modx->regC...
27 декабря 2024, 13:50
Огромнейшее спасибо! Работает.
26 декабря 2024, 12:43
А как вы в шаблоне письма вывели имя пользователя? У меня просто в шаблоне отрабатывает. А в письме нет.
[[$user.name]]
[[$us...
26 декабря 2024, 11:10
Слышу эту песню про программирование — уже с лет 20 точно.
Но пока «мы» даже сверстать макет не можем автоматически, чтобы можно было в продакшен о...
25 декабря 2024, 14:13
В итоге переписала сама. Не знаю можно ли вставлять сюда столько текста, так что чистый JS код, если кому надо, можно найти по ссылке
24 декабря 2024, 21:46
Это не косяк, это осознанное изменение. Я считаю, что нет смысла показывать «Форма содержит ошибки» и ещё сами ошибки. Однако само сообщение в ответе ...
23 декабря 2024, 18:04
Для версии 3 лучше конечно иметь типа minishop3.
Да для всего этого нужно свободное время конечно же.
