[xParser] 1.4.0 - Поддержка пагинации на доноре


Внедрена поддержка пагинации на сайте-источнике. Теперь можно выкачивать все записи, включая самые старые. Постарался реализовать максимально просто.

Описание функционала


В основном окне задания появилась вкладка "Пагинация", в которой можно указать:
  1. УРЛ с параметром страницы,
  2. Диапазон страниц, по которым пройтись,
  3. Поле со списком исключенных страниц (через запятую или пробел).
    К слову, сюда пакет записывает страницы, по которым он прошел.


Особенности


Есть некоторые особенности по использованию и заполнению первых трёх полей.

УРЛ с параметром страницы

В этом поле можно использовать 2 параметра:
  1. {$url} или [[+url]] — это основной УРЛ задания,
  2. {$page} или [[+page]] — это номер страницы.
 

Диапазон страниц

Можно указать от меньшего к большему или от большего к меньшему, что соответственно укажет компоненту, в каком направлении производить проход.

Итого


В процессе разработки старался сделать, как можно проще и удобнее. Да, понимаю, что есть сайты, на которых пагинация реализована несколько иначе, но не все сразу. Со временем поборем и другие подходы к постраничной навигации на донорах, если будет требоваться!

Купить xParser можно, пока, со скидкой 30%, до 5 августа 2017 года включительно.
Павел Гвоздь
03 августа 2017, 18:44
modx.pro
1 696
+9
Поблагодарить автора Отправить деньги

Комментарии: 4

Алексей
05 октября 2017, 12:59
0
Добрый день! возможно ли назначить календарь публикации напарсенных ресурсов? К примеру по 2 в день, подряд. Вроде бы в MODX есть встроенное средство для отложенной публикации.
    Павел Гвоздь
    05 октября 2017, 13:04
    0
    Вполне! Главное понимать принцип работы отложенной публикации и указать заполнение этих полей при создании задания. Насколько я помню, там поле pub_date отвечает за это.
      Алексей
      05 октября 2017, 14:49
      0
      А можно пример? на сколько я понимаю это «Системное поле» -> «Resource.pub_date», а там же нет итерации, или счетчика созданных страниц для использования в fenom? как знать номер отпарсенной странички?
        Павел Гвоздь
        05 октября 2017, 18:02
        0
        Через Феном можно получить последние две записи из определенного парента, отсортированные по полю pub_date, и на основе этой информации выставить текущий pub_date. По таким вопросам лучше писать в ТП дополнения в modstore.
    Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
    4