Перезапуск скрипта процессора из админки автоматически
Здравствуйте.
Разрабатываю дополнение по импорту большого кол-ва товаров в минишоп2. Импорт запускается из админки. За импорт отвечает файл процессора synch.class.php.
Столкнулся с проблемой времени выполнения скрипта. Нужно грузить картинки со стороннего сайта, а это по примерным подсчётам на первый импорт всех товаров уйдёт около 2 часа работы. Ясное дело, что php не позволит так долго работать скрипту из браузера. Через консоль сервера запускать скрипт не получится, т.к. клиенту этого не объяснишь.
Думаю может получится как-то организовать автоматический перезапуск скрипта процессора с того места, на котором остановился, через, например, 20-50 товаров, либо через 20 секунд работы скрипта.
В связи с этим вопрос разработчикам дополнений: возможно ли отправлять в админку из процессора такой запрос, который автоматически в админке будет обрабатываться и перезапускать скрипт с нужного места, на котором остановились?
Решение под катом
Решение было найдено на гитхабе Василия, за что ему (и конечно Володе за помощь) — огромное СПАСИБО!
github.com/bezumkin/mSearch2/blob/master/core/components/msearch2/processors/mgr/index/create.class.php#L85
github.com/bezumkin/mSearch2/blob/master/assets/components/msearch2/js/mgr/widgets/index.form.js#L44
Разрабатываю дополнение по импорту большого кол-ва товаров в минишоп2. Импорт запускается из админки. За импорт отвечает файл процессора synch.class.php.
Столкнулся с проблемой времени выполнения скрипта. Нужно грузить картинки со стороннего сайта, а это по примерным подсчётам на первый импорт всех товаров уйдёт около 2 часа работы. Ясное дело, что php не позволит так долго работать скрипту из браузера. Через консоль сервера запускать скрипт не получится, т.к. клиенту этого не объяснишь.
Думаю может получится как-то организовать автоматический перезапуск скрипта процессора с того места, на котором остановился, через, например, 20-50 товаров, либо через 20 секунд работы скрипта.
В связи с этим вопрос разработчикам дополнений: возможно ли отправлять в админку из процессора такой запрос, который автоматически в админке будет обрабатываться и перезапускать скрипт с нужного места, на котором остановились?
Решение под катом
Решение было найдено на гитхабе Василия, за что ему (и конечно Володе за помощь) — огромное СПАСИБО!
github.com/bezumkin/mSearch2/blob/master/core/components/msearch2/processors/mgr/index/create.class.php#L85
github.com/bezumkin/mSearch2/blob/master/assets/components/msearch2/js/mgr/widgets/index.form.js#L44
06 июня 2015, 14:08
Поблагодарить автора
Отправить деньги
Комментарии: 19
Уточню один момент:
У нас в админке список файлов для импорта, мы кликнув на одном из них попадаем во всплывающее окно с указанием параметров выгрузки. Указываем параметры, жмём кнопку, данные передаются в процессор synch — импорт начался. Дойдя до определённой точки скрипт импорта отправляет данные обратно в админку, в админке этот ответ обрабатывается, если параметр «success» — 0, а «continue» — 1, то снова отправляем в скрипт процессора запрос с параметром «step» — 2, который означает, что импорт нужно продолжить.
У нас в админке список файлов для импорта, мы кликнув на одном из них попадаем во всплывающее окно с указанием параметров выгрузки. Указываем параметры, жмём кнопку, данные передаются в процессор synch — импорт начался. Дойдя до определённой точки скрипт импорта отправляет данные обратно в админку, в админке этот ответ обрабатывается, если параметр «success» — 0, а «continue» — 1, то снова отправляем в скрипт процессора запрос с параметром «step» — 2, который означает, что импорт нужно продолжить.
На стороне PHP делаешь N итераций, следя при этом, чтобы время выполнения скрипта не выходило за пределы 50-70% от max_execution_time и отсылаешь флаг done = true/false, в зависимости от того, надо ли продолжать итерации или скрипт полностью отработал. На стороне JS смотришь флажок done и шлёшь обратно в PHP, если ещё не закончил.
Да, костыль, однако другого не придумать на связке PHP + JS.
Да, костыль, однако другого не придумать на связке PHP + JS.
Я говорю о PHP функции sleep, которая останавливает работу скрипта на указанное время, и, насколько я понимаю (я могу ошибаться), предотвращает наступление max_execution_time.
По крайней мере я пользовался примером Николая-философа и это помогало делать пошаговую разбивку чтения больших данных.
По крайней мере я пользовался примером Николая-философа и это помогало делать пошаговую разбивку чтения больших данных.
1) Sleep ничего не останавливает. Она задерживает, откладывает, ставит на паузу. Не останавливает!
2) Что-то я впервые такую фигню слышу, что sleep предотвращает max_execution_time.
3) В коде на сайте Ильи примерно то же, о чём я говорил. Просто реализовано непосредственно в компоненте Console и запускается через флажок completed установленный в сессию в $_SESSION['Console'].
2) Что-то я впервые такую фигню слышу, что sleep предотвращает max_execution_time.
3) В коде на сайте Ильи примерно то же, о чём я говорил. Просто реализовано непосредственно в компоненте Console и запускается через флажок completed установленный в сессию в $_SESSION['Console'].
Моё решение без js. Правда ни разу не пробовал ))
П.С. Самому интересно стало. Надо будет попробовать.
П.С. Самому интересно стало. Надо будет попробовать.
Да, через лог можно контролировать, чтением каждую секунду сообщений.
Хотя последнее время, прихожу к идее, что любые массовые операции нужно фиксировать в таблице. После чего из нее получать к примеру последние 30 записей и производить массовые операции.
В этом плане и лог не нужен будет.
Получаем 30 записей отправляем их на exec_bg_script.
Ждем пока у этих 30 записей поставиться метка: завершено.
После чего получаем следующие 30 и продолжаем дальше.
Пока из обработки не уйдут все записи во временной таблице.
Так всегда можно отследить когда был запуск и завершение.
В общем нужна очередь, и какой то цикл который будет перезапускать всю эту процедуру.
Хотя последнее время, прихожу к идее, что любые массовые операции нужно фиксировать в таблице. После чего из нее получать к примеру последние 30 записей и производить массовые операции.
В этом плане и лог не нужен будет.
Получаем 30 записей отправляем их на exec_bg_script.
Ждем пока у этих 30 записей поставиться метка: завершено.
После чего получаем следующие 30 и продолжаем дальше.
Пока из обработки не уйдут все записи во временной таблице.
Так всегда можно отследить когда был запуск и завершение.
В общем нужна очередь, и какой то цикл который будет перезапускать всю эту процедуру.
А как контролировать?
Понятно что на 1000 ресурсов можно использовать. А если обновляется 100к ресурсов, Получается ответ не получен!
Очередь таких заданий забьет память и процессор.
Просто думаю как это встроить к примеру в msPre так как достаточно долго обновляется даже те же 2000 ресурсов при объеме в 100к.
Точней даже понимаю что это работать будет только, в безконтрольном режиме. И это проблема.
Понятно что на 1000 ресурсов можно использовать. А если обновляется 100к ресурсов, Получается ответ не получен!
Очередь таких заданий забьет память и процессор.
Просто думаю как это встроить к примеру в msPre так как достаточно долго обновляется даже те же 2000 ресурсов при объеме в 100к.
Точней даже понимаю что это работать будет только, в безконтрольном режиме. И это проблема.
Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
Здесь упомянуты:
| Компонент | Текущая версия | Закачки |
| miniShop2 | 4.4.0-pl от 06.08.2024 | 26 100 |
| mSearch2 | 1.14.11-pl от 02.05.2023 | 18 904 |
| msPre | 2.5.29-pl от 14.04.2024 | 1 203 |
20 ноября 2024, 16:25
В сниппете rcv3_html достаточно отложить загрузку через setTimeout (хотя кто-то делает через onClick). Не думаю что мой вариант самый правильный и что...
19 ноября 2024, 10:51
Решил свою проблему через имя пользователя, но хотелось бы через права пользователя «Неограниченные права»
<?php
/**
* Системное событие OnMan...
19 ноября 2024, 09:09
Спасибо, тоже очень интерестное решение.
18 ноября 2024, 15:21
'where' => [
'Data.price:!='=>'0'
]
18 ноября 2024, 14:19
miniShop2.Order.add('extfld_delivery_price','100', function() {
miniShop2.Order.getcost();
})
Это вот работает, но чтобы увид...
18 ноября 2024, 10:11
Благодарю за ответы.
16 ноября 2024, 21:12
Спасибо. Работает.
