Нужен ли вам парсер контента в MODX Revo?
Бывает сталкиваешься с ситуацией, когда нужно по быстрому слить какую-то часть текста с какого-либо сайта, приходится либо подключать людей, которые итак заняты важными делами в плане контент наполнения, либо самому ручками, либо какой-нибудь простенький парсер под эту задачу катать…
Так вот ответьте пожалуйста, востребован ли для вас парсер контента со стороннего сайта в админке MODX Revo? То бишь заходим на определённую страницу в админке, вписываем селекторы в разные нужные поля для парсинга, по типу CSS/JQuery (напр: «div.title a»), далее ещё какие манипуляции производим, жмём — парсится.
И вообще экологично ли такой компонент писать? :)
P.S.: Не знаю, как отреагируют админы данного ресурса, но пока не локнули тему, попытаюсь собрать мнения. :) Если они вообще будут… :) Главное, шоб меня не локнули… :)
21 апреля 2015, 16:26
Комментарии: 28
Ну вообще было бы, конечно, полезно. Вопрос только в том — как это реализовать.
Написать парсер, чтобы набить сайт первичными данными не сложно.
Сложнее сделать так, чтобы данные периодически синхронизировались и обновлялись. А значит нужно как-то продумывать соответствия между масками урлов стороннего сайта и выборками уже имеющихся ресурсов.
Плюс, опять же, если селектору соответствует несколько DOM-элементов, например несколько изображений к какому-то товару. Как их переносить на свой сайт? Если на своём сайте хранилищем тех же изображений могут быть и тв (и всевозможные их вариации), и сторонние таблицы и разное другое — modx реально резиновый — вариантов может быть масса. Как сохранять? Куда записывать? Сделать такой парсер с админкой и 100% универсальным — практически (98,3%) невозможно.
Есть, конечно, пара идей на этот счёт, но больно уж геморройно. И не факт, что в конечном счёте окажется проще и юзабельнее.
Хотя наработки могли бы получиться интересными.
Написать парсер, чтобы набить сайт первичными данными не сложно.
Сложнее сделать так, чтобы данные периодически синхронизировались и обновлялись. А значит нужно как-то продумывать соответствия между масками урлов стороннего сайта и выборками уже имеющихся ресурсов.
Плюс, опять же, если селектору соответствует несколько DOM-элементов, например несколько изображений к какому-то товару. Как их переносить на свой сайт? Если на своём сайте хранилищем тех же изображений могут быть и тв (и всевозможные их вариации), и сторонние таблицы и разное другое — modx реально резиновый — вариантов может быть масса. Как сохранять? Куда записывать? Сделать такой парсер с админкой и 100% универсальным — практически (98,3%) невозможно.
Есть, конечно, пара идей на этот счёт, но больно уж геморройно. И не факт, что в конечном счёте окажется проще и юзабельнее.
Хотя наработки могли бы получиться интересными.
Было бы не плохо если бы с яндекса новости таскать к себе на сайт (текс+фото в идеале)
+ возможность на сайте бить по рубрикам, регионам и тд.
+ с определенным обновлением скажем в 10 минут или задать любое время которое необходимо.
Может даже с возможностью админа сайта принимать решения публиковать или нет новость которую притащило с яндекса.
+ возможность на сайте бить по рубрикам, регионам и тд.
+ с определенным обновлением скажем в 10 минут или задать любое время которое необходимо.
Может даже с возможностью админа сайта принимать решения публиковать или нет новость которую притащило с яндекса.
ну как вариант github.com/olamedia/nokogiri + в админке сделать превью и постинг
Думаю да, более востребован будет инструмент который позволит парсить интернет магазины, или сайты по недвижимости, есть как бы пару инструментов для этого ^ например ImoportX, хорошее дополнение, но вот я столкнулся с проблемой, я не мог импортировать галлерею в ms2Gallery, вот если вся эта тема еще и будет дружить с остальными компонентами, будет збс, вообще инструмент годный нужен, пока такого нет чтобы было удобно ворочать большими данными и парсерами
А я не вижу необходимости) У каждого сайта-доннора свои заморочки с парсингом, не думаю, что можно что-нибудь универсальное написать под любые задачи. А для типичных задач решений куча, мощных и функциональных. Ими можно спарсить, а заливку материалов через тот же Импорт / экспорт товаров реализовать — удобная штука. Но это только моё мнение)
Держу сайт, не было времени искать кого-то, чтобы его наполнили, короче нашел этих ребят parsing.by/, советую. Сэкономили мне кучу времени и сделали огромный кусок работы, советую ;)
Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
Здесь упомянуты:
| Компонент | Текущая версия | Закачки |
| ms2Gallery | 2.0.12-pl от 25.09.2020 | 4 575 |
5 часов назад
У вас есть баг при изменении кол-ва позиции в корзине
20 ноября 2024, 16:25
В сниппете rcv3_html достаточно отложить загрузку через setTimeout (хотя кто-то делает через onClick). Не думаю что мой вариант самый правильный и что...
19 ноября 2024, 10:51
Решил свою проблему через имя пользователя, но хотелось бы через права пользователя «Неограниченные права»
<?php
/**
* Системное событие OnMan...
19 ноября 2024, 09:09
Спасибо, тоже очень интерестное решение.
18 ноября 2024, 15:21
'where' => [
'Data.price:!='=>'0'
]
18 ноября 2024, 14:19
miniShop2.Order.add('extfld_delivery_price','100', function() {
miniShop2.Order.getcost();
})
Это вот работает, но чтобы увид...
18 ноября 2024, 10:11
Благодарю за ответы.
16 ноября 2024, 21:12
Спасибо. Работает.
