[xParser] 1.4.0 - Поддержка пагинации на доноре
Внедрена поддержка пагинации на сайте-источнике. Теперь можно выкачивать все записи, включая самые старые. Постарался реализовать максимально просто.
Описание функционала
В основном окне задания появилась вкладка "Пагинация", в которой можно указать:
- УРЛ с параметром страницы,
- Диапазон страниц, по которым пройтись,
- Поле со списком исключенных страниц (через запятую или пробел).
К слову, сюда пакет записывает страницы, по которым он прошел.
Особенности
Есть некоторые особенности по использованию и заполнению первых трёх полей.
УРЛ с параметром страницы
В этом поле можно использовать 2 параметра:- {$url} или [[+url]] — это основной УРЛ задания,
- {$page} или [[+page]] — это номер страницы.
Диапазон страниц
Можно указать от меньшего к большему или от большего к меньшему, что соответственно укажет компоненту, в каком направлении производить проход.Итого
В процессе разработки старался сделать, как можно проще и удобнее. Да, понимаю, что есть сайты, на которых пагинация реализована несколько иначе, но не все сразу. Со временем поборем и другие подходы к постраничной навигации на донорах, если будет требоваться!
Купить xParser можно, пока, со скидкой 30%, до 5 августа 2017 года включительно.
Поблагодарить автора
Отправить деньги
Комментарии: 4
Добрый день! возможно ли назначить календарь публикации напарсенных ресурсов? К примеру по 2 в день, подряд. Вроде бы в MODX есть встроенное средство для отложенной публикации.
Вполне! Главное понимать принцип работы отложенной публикации и указать заполнение этих полей при создании задания. Насколько я помню, там поле pub_date отвечает за это.
А можно пример? на сколько я понимаю это «Системное поле» -> «Resource.pub_date», а там же нет итерации, или счетчика созданных страниц для использования в fenom? как знать номер отпарсенной странички?
Через Феном можно получить последние две записи из определенного парента, отсортированные по полю pub_date, и на основе этой информации выставить текущий pub_date. По таким вопросам лучше писать в ТП дополнения в modstore.
Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.