Нужен ли вам парсер контента в MODX Revo?

Бывает сталкиваешься с ситуацией, когда нужно по быстрому слить какую-то часть текста с какого-либо сайта, приходится либо подключать людей, которые итак заняты важными делами в плане контент наполнения, либо самому ручками, либо какой-нибудь простенький парсер под эту задачу катать…

Так вот ответьте пожалуйста, востребован ли для вас парсер контента со стороннего сайта в админке MODX Revo? То бишь заходим на определённую страницу в админке, вписываем селекторы в разные нужные поля для парсинга, по типу CSS/JQuery (напр: «div.title a»), далее ещё какие манипуляции производим, жмём — парсится.

И вообще экологично ли такой компонент писать? :)

P.S.: Не знаю, как отреагируют админы данного ресурса, но пока не локнули тему, попытаюсь собрать мнения. :) Если они вообще будут… :) Главное, шоб меня не локнули… :)

Пашок

21 апреля 2015, 16:26

4 187

Комментарии: 28

~~Пашок~~

21 апреля 2015, 19:37

Ребят, от вашего мнения будет зависить, появится ли такой компонент.

И да, этот коммент был написан, чтобы тема стала немного заметнее. :)

Алексей Загорский

21 апреля 2015, 19:44

ну если бы этот компонет парсил интернет магазин и наполнял каталог собственного магазина, это 100% нужно, часто сталкиваюсь с проблемой нехватки характеристик у товаров, их поиском и заливкой

~~Пашок~~

21 апреля 2015, 19:47

Отлично, первый смельчак нашёлся. :) Кто ещё не пожалеет пару строк текста на общее благо?

Алексей Карташов

21 апреля 2015, 20:15

Ну вообще было бы, конечно, полезно. Вопрос только в том — как это реализовать.
Написать парсер, чтобы набить сайт первичными данными не сложно.
Сложнее сделать так, чтобы данные периодически синхронизировались и обновлялись. А значит нужно как-то продумывать соответствия между масками урлов стороннего сайта и выборками уже имеющихся ресурсов.
Плюс, опять же, если селектору соответствует несколько DOM-элементов, например несколько изображений к какому-то товару. Как их переносить на свой сайт? Если на своём сайте хранилищем тех же изображений могут быть и тв (и всевозможные их вариации), и сторонние таблицы и разное другое — modx реально резиновый — вариантов может быть масса. Как сохранять? Куда записывать? Сделать такой парсер с админкой и 100% универсальным — практически (98,3%) невозможно.

Есть, конечно, пара идей на этот счёт, но больно уж геморройно. И не факт, что в конечном счёте окажется проще и юзабельнее.
Хотя наработки могли бы получиться интересными.

~~Пашок~~

21 апреля 2015, 20:53

С удовольствием выслушаю Ваши идеи.

Олег

21 апреля 2015, 20:39

Яндекс маркет планируете?)

~~Пашок~~

21 апреля 2015, 20:54

Парсер маркета? Ну вообще парсер вроде и на маркете должен будет работать)

Wassi Wassinen

21 апреля 2015, 20:50

В хозяйстве все пригодится.

~~Пашок~~

21 апреля 2015, 20:55

Это конечно да, однако хотелось бы увидеть, насколько востребован будет данный инструмент, чтобы не городить огород лишний раз. А может уже есть что-то подобное, я ж не знаю. :)

Василий Столейков

21 апреля 2015, 21:00

Очень востребованный инструмент будет!
Такие программы-парсеры стоят довольно дорого и существенно облегчают работу и выделяют на фоне конкурентов!
Вам многие скажут огромное спасибо! И если компонент будет платный и стоящий, то многие за это деньги готовы будут дать!

~~Пашок~~

21 апреля 2015, 21:04

БлагоДарю за мнения, друзья. Надеюсь ни у кого не отнял ничего драгоценного своим вопросом, кроме времени конечно. :)

Впринципе я узнал, то что мне нужно, поэтому убираю топик с главной страницы. Если у кого-то есть идеи на этот счёт, готов выслушать и принять на вооружение.

Роман

21 апреля 2015, 21:46

Было бы не плохо если бы с яндекса новости таскать к себе на сайт (текс+фото в идеале)
+ возможность на сайте бить по рубрикам, регионам и тд.
+ с определенным обновлением скажем в 10 минут или задать любое время которое необходимо.
Может даже с возможностью админа сайта принимать решения публиковать или нет новость которую притащило с яндекса.

Дмитрий Иванов

21 апреля 2015, 22:20

Ничего плохого в этом не вижу, всегда найдутся те, кому он будет полезен.

Spam

22 апреля 2015, 06:18

ну как вариант github.com/olamedia/nokogiri + в админке сделать превью и постинг

Сергей Скат

22 апреля 2015, 11:12

Думаю да, более востребован будет инструмент который позволит парсить интернет магазины, или сайты по недвижимости, есть как бы пару инструментов для этого ^ например ImoportX, хорошее дополнение, но вот я столкнулся с проблемой, я не мог импортировать галлерею в ms2Gallery, вот если вся эта тема еще и будет дружить с остальными компонентами, будет збс, вообще инструмент годный нужен, пока такого нет чтобы было удобно ворочать большими данными и парсерами

Николай Загумённов

22 апреля 2015, 11:18

Нужен!

Николай

22 апреля 2015, 13:14

А я не вижу необходимости) У каждого сайта-доннора свои заморочки с парсингом, не думаю, что можно что-нибудь универсальное написать под любые задачи. А для типичных задач решений куча, мощных и функциональных. Ими можно спарсить, а заливку материалов через тот же Импорт / экспорт товаров реализовать — удобная штука. Но это только моё мнение)

Николай

22 апреля 2015, 13:19

Хотя, если будет автозаливка на сайт с созданием новых ресурсов, то очень даже удобная штука, чем кучей инструментов пользоваться. Я бы даже купил за приемлимую стоимость)

TITAN-UZ

23 апреля 2015, 00:14

skype ест у вас?

~~Пашок~~

23 апреля 2015, 00:23

Блин, почему нет личных сообщений на ресурсе?) Приходится на всеобщее обозрение личные данные публиковать. :) ~~--удалено-- мой скайп~~.

TITAN-UZ

23 апреля 2015, 00:29

Ну тогда мой TITAN-UZ

~~Пашок~~

23 апреля 2015, 00:37

По идее должно было письмо придти на мыло с уведомлением о сообщении и моим скайпом. :)

Василий Наумкин

23 апреля 2015, 06:19

Руки пока не дошли.

Но в планах есть.

Wassi Wassinen

23 апреля 2015, 16:08

Василий, если руки дойдут до нормального компонента с созданием личных сообщений — готов принять материальное участие.

Марк Валерич

23 апреля 2015, 09:38

Пашок, это реально нужная тема.
Говорю этот как человек, который по незнанию в свое время копипастил 1500 страниц…

Даже сейчас есть задача заполнить сайт спец описанием, которое надо тырить у конкурента.

Олег

25 ноября 2015, 14:35

Держу сайт, не было времени искать кого-то, чтобы его наполнили, короче нашел этих ребят parsing.by/, советую. Сэкономили мне кучу времени и сделали огромный кусок работы, советую ;)