[xParser] 1.4.0 - Поддержка пагинации на доноре



Внедрена поддержка пагинации на сайте-источнике. Теперь можно выкачивать все записи, включая самые старые. Постарался реализовать максимально просто.

Описание функционала

В основном окне задания появилась вкладка "Пагинация", в которой можно указать:
  1. УРЛ с параметром страницы,
  2. Диапазон страниц, по которым пройтись,
  3. Поле со списком исключенных страниц (через запятую или пробел).
    К слову, сюда пакет записывает страницы, по которым он прошел.


Особенности

Есть некоторые особенности по использованию и заполнению первых трёх полей.

УРЛ с параметром страницы

В этом поле можно использовать 2 параметра:
  1. {$url} или [[+url]] — это основной УРЛ задания,
  2. {$page} или [[+page]] — это номер страницы.
 

Диапазон страниц

Можно указать от меньшего к большему или от большего к меньшему, что соответственно укажет компоненту, в каком направлении производить проход.

Итого

В процессе разработки старался сделать, как можно проще и удобнее. Да, понимаю, что есть сайты, на которых пагинация реализована несколько иначе, но не все сразу. Со временем поборем и другие подходы к постраничной навигации на донорах, если будет требоваться!

Купить xParser можно, пока, со скидкой 30%, до 5 августа 2017 года включительно.
03 августа 2017, 21:44    Павел Гвоздь   
0    412 +9

Комментарии (4)

  1. Алексей 05 октября 2017, 12:59 # 0
    Добрый день! возможно ли назначить календарь публикации напарсенных ресурсов? К примеру по 2 в день, подряд. Вроде бы в MODX есть встроенное средство для отложенной публикации.
    1. Павел Гвоздь 05 октября 2017, 13:04 # 0
      Вполне! Главное понимать принцип работы отложенной публикации и указать заполнение этих полей при создании задания. Насколько я помню, там поле pub_date отвечает за это.
      1. Алексей 05 октября 2017, 14:49 # 0
        А можно пример? на сколько я понимаю это «Системное поле» -> «Resource.pub_date», а там же нет итерации, или счетчика созданных страниц для использования в fenom? как знать номер отпарсенной странички?
        1. Павел Гвоздь 05 октября 2017, 18:02 # 0
          Через Феном можно получить последние две записи из определенного парента, отсортированные по полю pub_date, и на основе этой информации выставить текущий pub_date. По таким вопросам лучше писать в ТП дополнения в modstore.
    Вы должны авторизоваться, чтобы оставлять комментарии.