[xParser] Парсер RSS лент
Парсер контента RSS лент, с возможностью скачивания медиа-контента на сайт.
При добавлении полей ленты, которые надо парсить, вместо названия поля (title или enclosure[url]) можно указать @INLINE чанк, который будет обработан Fenom. Благодаря этому, в этих полях можно выстраивать совершенно любую логику, вплоть до создания новых разделов «на ходу».
Стояла задача, как можно больше упростить взаимодействие с компонентом, поэтому жду мнений, насколько компонент прост в управлении.
На вкладке Основное заполняем примерно так:
Переключаемся на вкладку Конфигурация, где можно указать:
Расширения медиа-контента и папки для сохранения каждого из расширений указываются в JSON.
Жмём Сохранить — задание добавлено!
Откроется список полей задания, который пока пуст.
Помимо добавления полей задания мы можем просмотреть Массив значений ленты — это распечатанный массив с данным из первой записи ленты:
Запоминаем названия полей, которые нам надо парсить на сайт и кликаем Добавить поле. Откроется окошко с возможностью указать:
Помимо основых полей с данными, которые необходимо выгрузить на сайт, нам надо ещё добавить поле, по которому пакет будет понимать, что данная запись уже есть на сайте. Для этого добавляем новое поле, значение Системное поле оставляем пустым, а в Поле в источнике пишем, например, «guid» (потому что он менее всего подвержен изменениям). Должно быть как-то так:
Сохраняем. В списке полей на этом поле ставим указатель Уникальное поле (кнопка со звездой слева):
Всё готово к парсингу, как к единоразовому, так и к ежеминутному (у компонента есть скрипт для запуска заданий из крона).
Спасибо Владимиру за спонсорскую поддержку!
P.S. Владимиру этим компонентом, даже, как-то удавалось запускать импорт из WordPress в MODX. Надеюсь, он нам расскажет, как это сделать.
При добавлении полей ленты, которые надо парсить, вместо названия поля (title или enclosure[url]) можно указать @INLINE чанк, который будет обработан Fenom. Благодаря этому, в этих полях можно выстраивать совершенно любую логику, вплоть до создания новых разделов «на ходу».
Подробнее о работе
Стояла задача, как можно больше упростить взаимодействие с компонентом, поэтому жду мнений, насколько компонент прост в управлении.
Добавляем задание
Заходим на страницу компонента, жмём Добавить задание => Добавить RSS-ленту.На вкладке Основное заполняем примерно так:
Переключаемся на вкладку Конфигурация, где можно указать:
- Шаблон для создаваемых ресурсов,
- Контекст,
- Родительский контейнер в пределах выбранного контекста,
- Сконфигурировать скачивание медиа-контента,
- При необходимости поменять базовый тег ленты и базовый тег записи.
Расширения медиа-контента и папки для сохранения каждого из расширений указываются в JSON.
Жмём Сохранить — задание добавлено!
Добавляем поля для парсинга
На только что добавленном задании нажимаем правой кнопкой и выбираем Поля задания:
Откроется список полей задания, который пока пуст.
Помимо добавления полей задания мы можем просмотреть Массив значений ленты — это распечатанный массив с данным из первой записи ленты:
Запоминаем названия полей, которые нам надо парсить на сайт и кликаем Добавить поле. Откроется окошко с возможностью указать:
- Системное поле. Выпадающий список системных полей ресурса и ТВ-полей.
- Поле в источнике. Текстовое поле, в которое нужно ввести наименование тега в RSS-ленте.
Можно указать @INLINE чанк, который будет обработан Fenom из pdoTools. В чанке содержатся плейсхолдеры всех возможных полей из RSS-ленты, которые имеются в записи между тегами item, а также массив с настройками задания $_task.
За счёт внедрения в данное поле Fenom, можно будет, получая значение из тега category (как например в RSS Lenta.ru) делать выборку по базе ресурсов, в поисках ID аналогичной категории на нашем сайте, а если не найдено — добавлять.
Тег enclosure и ему подобные, указываются либо через чанк: «@INLINE {$enclosure['url']}», либо в виде CSS селектора: «enclosure[url]».
Если не указано или значение по данному полю в ленте пустое, то в качестве значения для Системное поле будет взято значение из следующего поля — Значение по-умолчанию.
- Значение по-умолчанию. В данном поле можно указать значение, которое будет записано в Системное поле. Например, если мы в Системное поле выбрали class_key, то, чтобы создавались Тикеты, мы в поле Значение по-умолчанию пишем «Ticket», а Поле в источнике оставляем пустым.
Такую же «магию» можно сделать и с полем published, указав в значении по-умолчанию цифру «1». Тогда ресурс на сайт будет добавляться сразу опубликованным.
Помимо основых полей с данными, которые необходимо выгрузить на сайт, нам надо ещё добавить поле, по которому пакет будет понимать, что данная запись уже есть на сайте. Для этого добавляем новое поле, значение Системное поле оставляем пустым, а в Поле в источнике пишем, например, «guid» (потому что он менее всего подвержен изменениям). Должно быть как-то так:
Сохраняем. В списке полей на этом поле ставим указатель Уникальное поле (кнопка со звездой слева):
Всё готово к парсингу, как к единоразовому, так и к ежеминутному (у компонента есть скрипт для запуска заданий из крона).
Спасибо Владимиру за спонсорскую поддержку!
P.S. Владимиру этим компонентом, даже, как-то удавалось запускать импорт из WordPress в MODX. Надеюсь, он нам расскажет, как это сделать.
А теперь о развитии
1990 рублей — это не окончательная стоимость компонента, по мере развития стоимость будет только повышаться.Готово!Компонент будет расширяться до парсера HTML контента.Готово!Есть идея совмещения типов парсера (RSS лент и HTML контента). К примеру, в RSS лентах всегда присутствует ссылка на полную статью. В планах сделать так, чтобы воспользовавшись этим полем со ссылкой, передавать задание парсинга из RSS ленты в соседнее задание, которое настроено именно на этот HTML контент. Естественно, данная идея будет реализована только после того, как реализуется сам тип заданий «HTML контент».Готово!- Будет внедрена поддержка ms2Gallery, UserFiles2, modClassVar. Что ещё?
- Если есть интересные идеи развития компонента — высказывайтесь.
Купить дополнение в modstore.pro
30 ноября 2016, 23:15
Поблагодарить автора
Отправить деньги
Комментарии: 94
В общем, нужен автоматический генератор и публикатор текстов по заданной фразе…
Надоело платить тупым копирайтерами за тексты, которые приходится почти полностью переписывать. Лучше я один раз заплачу тебе и буду редактировать тексты от парсера.
P.S. — не тупые копирайтеры мне пока не по карману
Надоело платить тупым копирайтерами за тексты, которые приходится почти полностью переписывать. Лучше я один раз заплачу тебе и буду редактировать тексты от парсера.
P.S. — не тупые копирайтеры мне пока не по карману
Вот замечательная статья о том, как выжимать из копирайтеров все соки. Не нужно платить много денег. Нужно ставить четкие и определенные рамки.
По поводу пожелания, то вряд ли такое будет реализовано, по крайней мере в ближайшем будущем. Это всё же парсер, а не ИИ какой-то. :)
По поводу пожелания, то вряд ли такое будет реализовано, по крайней мере в ближайшем будущем. Это всё же парсер, а не ИИ какой-то. :)
Павел, интересен такой функционал. Есть ссылка на XML выгрузку поставщика. Можно ли парсером его разбирать, создавая при этом товары (это вы уже ответили), а в дальнейшем например запускать парсинг раз в сутки и если товар уже есть, то просто сверять в нем поля, на изменения. Если товар в выгрузке новый и его нет еще на сайте, то создавать его, если товар удален в выгрузке, то на сайте ставить ему какой-либо статус (недоступен, под заказ ну или типа того).
Нет, такой функционал ещё не реализован. Редактирование уже существующих ресурсов вообще не предусмотрено. То, что вы описали, можно сделать по событию на плагин. Не очень много придётся дописывать в плагине… относительно не много… однако и возможности прикрутить свой плагин пока нет, ибо такой функционал пока не требовался ни одному пользователю пакета, но некоторые наработки в этом направлении уже есть.
[2016-12-02 14:55:31] (ERROR @ /var/www/www-root/data/www/mattera.guru/core/xpdo/om/xpdoobject.class.php : 240) Error 42S02 executing statement:
Array
(
[0] => 42S02
[1] => 1146
[2] => Table 'seofucktor.adv_xparser_tasks_rss' doesn't exist
)При установке выдавало ошибку
Could not create table `adv_xparser_tasks_rss` SQL: CREATE TABLE `adv_xparser_tasks_rss` (`id` INTEGER unsigned NOT NULL AUTO_INCREMENT, `task` INT(10) unsigned NULL DEFAULT '0', `url` VARCHAR(500) NOT NULL DEFAULT '', `tag_channel` VARCHAR(40) NOT NULL DEFAULT '', `tag_item` VARCHAR(40) NOT NULL DEFAULT '', PRIMARY KEY (`id`), INDEX `task` (`task`), INDEX `url` (`url`), INDEX `tag_channel` (`tag_channel`), INDEX `tag_item` (`tag_item`)) ENGINE=MyISAM ERROR: Array ( [0] => 42000 [1] => 1071 [2] => Specified key was too long; max key length is 1000 bytes )Подскажите как это можно исправить?
HTML парсинг действительно готов и ждёт представления сообществу (времени мало на составление документации). В modstore компонент с этим механизмом уже доступен, пока в бета версии и по старой цене. Как только неделя скидок закончится — цена будет поднята, для начала до 3кр.
По замене слов: опишите подробнее, возможно, что получится решить исключительно средствами Fenom.
По замене слов: опишите подробнее, возможно, что получится решить исключительно средствами Fenom.
отлично, вот еще такой вопрос — данные по объявлениям будут собираться только со списка автомобилей или можно цеплять больше информации? к примеру подробное описание и изображения vladivostok.drom.ru/nissan/liberty/24939035.html
Ещё лет 5 назад были подобные грабберы новостные для DLE, конечно RSS это хорошо, но было бы ещё лучше, если бы компонент мог по списку ключевых слов ходить по выдачам разных поисковиков и тырить текста с картинками и остальным. Тоесть быть полноценным парсером, аля доргеном) Если бы сайты в итоге были бы самонаполняемыми, так сказать псевдо сдл'ами (сателитами), то очень бы облегчили жизнь веб мастерам, которые с этого зарабатывают. Для популяризации MODX давно бы уже что-то подобное написали.))) Я бы только всеми руками за был!
Благодаря использованию фенома, можно тянуть строго нужное, регулярками, просто реплейсом.
Короче, придется написать об опыте использования.
На одном сайте xParser — это агрегатор новостей, на другом обмен партнерскими материалами. Использование этого инструмента — вопрос предприимчивости, а может он уже многое.
Короче, придется написать об опыте использования.
На одном сайте xParser — это агрегатор новостей, на другом обмен партнерскими материалами. Использование этого инструмента — вопрос предприимчивости, а может он уже многое.
И как передавать поля с несколькими значениями.Надо передавать в JSON. Читайте вот тут.
P.S. С ужасом понял, что в docs.modx.pro про работу с ms2 ни слова… Исправим!
Здравствуйте, скажите с помощью вашего парсера могу ли я парсить дизайн страницы (например все что в определенном div блоке, с заданным id), после чего вставлять их в свои чанки, и также сохранять css файл к себе? Если да, то могу ли я задать частоту обновления парсинга и/или делать это в ручном режиме?
Подскажите пожалуйста, это расширение подойдет под мою цель — которая схожа с функционалом сохранения ссылок страниц — pocket, но только на своем сайте help.getpocket.com/
Если по действиям, то примерно так:
1) нахожу какую то интересную статью (на рус или англ м.б.)
2) копирую ссылку
3) создаю тикет ( у меня сайт на тикетах и феном)
4) тикету даю на вход эту ссылку
5) тикет берт Оглавнение, Описание и сам контент (может даже не весь)
Если по действиям, то примерно так:
1) нахожу какую то интересную статью (на рус или англ м.б.)
2) копирую ссылку
3) создаю тикет ( у меня сайт на тикетах и феном)
4) тикету даю на вход эту ссылку
5) тикет берт Оглавнение, Описание и сам контент (может даже не весь)
Здравствуйте! Возможна ли интеграция с msOptionsPrice2 modstore.pro/packages/ecommerce/msoptionsprice2?
Добрый день!
Интересует парсер товаров для modx на подобие модуля «Автоматическая обработка прайслистов» для opencart. Принцип его работы заключается в следующем.
Есть прайс, к примеру, на 500 товаров в excel. Я к каждому товару нахожу ссылку откуда парсить данные (т.е. с другого сайта, который мне понравится, этот же товар). Как правило после обработки всего прайслиста на выходе получается определенное количество сайтов, с которых будем парсить данные. К примеру, 7 штук.
Далее в модуле создаются шаблоны на парсинг под каждый из найденных сайтов. Там мы вводим разметку для необходимых типов данных с этих самых сайтов, т.е. как начинается необходимое поле и как заканчивается. Под каждый найденный сайт свой шаблон. К примеру, заголовок: в поле «Начало» вводим , а в поле «Конец» — . Все что между данными тегами, заносится в заголовок. И так далее с остальными данными, будь то описание, атрибуты (характеристики), изображения, цена и т.п.
Таким образом можно достаточно быстро наполнить магазин товарами со всеми необходимыми данными.
Ссылка на видео с обзором от автора модуля: www.youtube.com/watch?v=aCaoSaS3JC8&list=PLkDV_NaX_cBAerpeAke8cdw1Weom6jov_&index=10
Вопрос. Может ли данный парсер делать то же самое?
Спасибо!
Интересует парсер товаров для modx на подобие модуля «Автоматическая обработка прайслистов» для opencart. Принцип его работы заключается в следующем.
Есть прайс, к примеру, на 500 товаров в excel. Я к каждому товару нахожу ссылку откуда парсить данные (т.е. с другого сайта, который мне понравится, этот же товар). Как правило после обработки всего прайслиста на выходе получается определенное количество сайтов, с которых будем парсить данные. К примеру, 7 штук.
Далее в модуле создаются шаблоны на парсинг под каждый из найденных сайтов. Там мы вводим разметку для необходимых типов данных с этих самых сайтов, т.е. как начинается необходимое поле и как заканчивается. Под каждый найденный сайт свой шаблон. К примеру, заголовок: в поле «Начало» вводим , а в поле «Конец» — . Все что между данными тегами, заносится в заголовок. И так далее с остальными данными, будь то описание, атрибуты (характеристики), изображения, цена и т.п.
Таким образом можно достаточно быстро наполнить магазин товарами со всеми необходимыми данными.
Ссылка на видео с обзором от автора модуля: www.youtube.com/watch?v=aCaoSaS3JC8&list=PLkDV_NaX_cBAerpeAke8cdw1Weom6jov_&index=10
Вопрос. Может ли данный парсер делать то же самое?
Спасибо!
Подскажите. пожалуйста, кто знает как реализовать такую задачу, которую описал в комментарии. Кто как наполняет товарами магаз? Не вручную ж лопатить несколько тысяч…
Вот подскажите
Есть у меня к примеру xml
вот кусок
Но как его записать в «поле источника» что бы оно тянуло верно в minishop2|categories?
Есть у меня к примеру xml
вот кусок
<code>24175</code>
<vendor>(Пигас)</vendor>
<name>Футболка S-L Happiness 24175</name>Но как его записать в «поле источника» что бы оно тянуло верно в minishop2|categories?
Подскажите. В Родительский ресурс контейнер — подгружаются около 20 ресурсов — а нужные не подгружаются, поиск тоже не работает. Сохранить задание соответственно не получается.
file.modx.pro/files/e/4/9/e4945ce95acb1f355845fde2ab8eed8a.png
file.modx.pro/files/e/4/9/e4945ce95acb1f355845fde2ab8eed8a.png
Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
Здесь упомянуты:
| Компонент | Текущая версия | Закачки |
| xParser | 1.11.20-beta от 17.08.2023 | 703 |
| RSS | 1.5.0-pl от 03.12.2019 | 4 |
| pdoTools | 2.13.2-pl от 02.09.2021 | 53 746 |
| Tickets | 1.13.0-pl от 10.03.2020 | 19 433 |
| ms2Gallery | 2.0.12-pl от 25.09.2020 | 4 522 |
| modClassVar | 1.1.13-beta от 14.09.2017 | 172 |
| miniShop2 | 4.3.0-pl от 02.07.2023 | 25 496 |
| msOptionsPrice2 | 2.5.22-beta от 29.11.2019 | 5 518 |
3 часа назад
Понятно, изучать вкладки в migx…
Так то я пока освоил: создаем и заполняем таблицу с данными… Потом ее выводим…
Вчера в 00:59
Будет обновление АПИ до 3 версии или нет????
25 апреля 2024, 16:40
Когда планируется обновление? :'э
25 апреля 2024, 14:36
Насколько я помню, не во всех последних релизах была проблема со старой версией PHP (с 7й), а в 2.8.6 и 3.0.4 (предыдущих на текущий момент релизах из...
25 апреля 2024, 09:58
Попробую, спасибо!
25 апреля 2024, 00:32
Демо вроде автор закрыл, а ссылка из поста на компонент вполне рабочая, или о чем речь?
24 апреля 2024, 14:54
Давай попробуем вот так — youtu.be/BbyfFDARgZU