Нужен ли вам парсер контента в MODX Revo?
Бывает сталкиваешься с ситуацией, когда нужно по быстрому слить какую-то часть текста с какого-либо сайта, приходится либо подключать людей, которые итак заняты важными делами в плане контент наполнения, либо самому ручками, либо какой-нибудь простенький парсер под эту задачу катать…
Так вот ответьте пожалуйста, востребован ли для вас парсер контента со стороннего сайта в админке MODX Revo? То бишь заходим на определённую страницу в админке, вписываем селекторы в разные нужные поля для парсинга, по типу CSS/JQuery (напр: «div.title a»), далее ещё какие манипуляции производим, жмём — парсится.
И вообще экологично ли такой компонент писать? :)
P.S.: Не знаю, как отреагируют админы данного ресурса, но пока не локнули тему, попытаюсь собрать мнения. :) Если они вообще будут… :) Главное, шоб меня не локнули… :)
Комментарии: 28
Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
ПашокИ да, этот коммент был написан, чтобы тема стала немного заметнее. :)
ПашокНаписать парсер, чтобы набить сайт первичными данными не сложно.
Сложнее сделать так, чтобы данные периодически синхронизировались и обновлялись. А значит нужно как-то продумывать соответствия между масками урлов стороннего сайта и выборками уже имеющихся ресурсов.
Плюс, опять же, если селектору соответствует несколько DOM-элементов, например несколько изображений к какому-то товару. Как их переносить на свой сайт? Если на своём сайте хранилищем тех же изображений могут быть и тв (и всевозможные их вариации), и сторонние таблицы и разное другое — modx реально резиновый — вариантов может быть масса. Как сохранять? Куда записывать? Сделать такой парсер с админкой и 100% универсальным — практически (98,3%) невозможно.
Есть, конечно, пара идей на этот счёт, но больно уж геморройно. И не факт, что в конечном счёте окажется проще и юзабельнее.
Хотя наработки могли бы получиться интересными.
ПашокПашокПашокТакие программы-парсеры стоят довольно дорого и существенно облегчают работу и выделяют на фоне конкурентов!
Вам многие скажут огромное спасибо! И если компонент будет платный и стоящий, то многие за это деньги готовы будут дать!
ПашокВпринципе я узнал, то что мне нужно, поэтому убираю топик с главной страницы. Если у кого-то есть идеи на этот счёт, готов выслушать и принять на вооружение.
+ возможность на сайте бить по рубрикам, регионам и тд.
+ с определенным обновлением скажем в 10 минут или задать любое время которое необходимо.
Может даже с возможностью админа сайта принимать решения публиковать или нет новость которую притащило с яндекса.
Пашок--удалено-- мой скайп.ПашокНо в планах есть.
Говорю этот как человек, который по незнанию в свое время копипастил 1500 страниц…
Даже сейчас есть задача заполнить сайт спец описанием, которое надо тырить у конкурента.