К содержанию

Как реализовать парсинг новостей с другого сайта?

Подскажите, как сделать парсинг новостей с другого сайта так, чтобы материал выводился с картинками.
Нашел только getFeed, который берет новости из RSS-лент, выдаёт сухой текст и ссылку на источник, без изображений.
И есть ли вообще возможность автоматически создавать материал для каждой новости?
MODx Revo 2.3.1
Александр
Александр
05 декабря 2015, 12:19
modx.pro
3 733
Реклама

Комментарии: 19

Александр
Александр Старожил
06 декабря 2015, 19:09
Может какое-то готовое решение есть?
    Abu
    Abu Проверенный
    06 декабря 2015, 22:16
    Если готовы быть бета-тестером, могу скинуть довольно сырое решение (откройте доступ к личным сообщениям).
      Александр
      Александр Старожил
      07 декабря 2015, 03:39
      Готов, открыл почту.
    Воеводский Михаил
    Воеводский Михаил Проверенный
    06 декабря 2015, 21:51
    Возможность есть. Необходимо писать свой парсер.
      Александр
      Александр Старожил
      07 декабря 2015, 03:40
      Сколько будет стоить такая разработка? и по времени сколько займет?
        Воеводский Михаил
        Воеводский Михаил Проверенный
        07 декабря 2015, 10:14
        Без деталей ответа на этот вопрос никогда не будет.
        Или будет из серии «от 5 000 до 500 000 руб., от 1 дня до полугода». Понятно, что это очень утрированно :)
          Сергей Шлоков
          Сергей Шлоков Эксперт
          07 декабря 2015, 10:28
          Мне кажется 1000 руб. вполне приемлемая цена.
            Воеводский Михаил
            Воеводский Михаил Проверенный
            07 декабря 2015, 10:32
            Не соглашусь. Все зависит от дополнительных требований.
            Запорожец и BMW 7 — обе являются машинами. Вот только отличаются во всем, кроме факта наличия двигателя и 4-х колес. Здесь то же самое, ты прекрасно понимаешь эту разницу.
              Сергей Шлоков
              Сергей Шлоков Эксперт
              07 декабря 2015, 10:40
              Я имел ввиду дополнение, а не заказная разработка. Задача парсинг новостей, а не всего сайта. Используя твою метафору — стоит задача перевезти чемодан из точки А в точку Б. Не имеет значения на чем. Можно и пешком (вручную новости переносить). Главное доставить.
              П.С. Вообще задача интересная.
                Воеводский Михаил
                Воеводский Михаил Проверенный
                07 декабря 2015, 10:45
                Если дополнение, то да, соглашусь с 1000 руб.
                Продолжая метафоры — может быть ручная женская сумочка, а может быть и гора чемоданов. И вот тут уже имеет значение метод доставки из точки А в точку Б. Мы же не знаем подробностей на данном этапе.
                  Александр
                  Александр Старожил
                  08 декабря 2015, 20:56
                  Хорошо ) сформулирую подробнее
                  Нужно дополнение, которое сможет:
                  — взять из указанной rss-ленты изображения, тексты и (в идеале) анонсы новостей
                  — автоматически создать материал в заранее указанный раздел сайта и опубликовать его.

                  Также нужно:
                  — возможность указывать css-селекторы из которых требуется взять материал.
                  — возможность указывать теги, которые надо вырезать из спарсенной новости (лишние ,и т.д.)
                  — возможность настраивать шаблон, в который будет вставляться новость.
                  — (необязательно) возможность настройки частоты публикации новостей.

                  По-хорошему, надо один раз настроить несколько rss-лент и забыть, чтобы все новости сами публиковались на сайте.
                    Владимир
                    Владимир Старожил
                    08 декабря 2015, 22:22
                    Извиняюсь, офф-топ, а на кой нужен такой сайт с не уникальным контентом?
                      Александр
                      Александр Старожил
                      09 декабря 2015, 03:38
                      Это городской портал, уникальным контентом будут наполняться другие разделы.
                      И периодически своими материалами разбавляться будет раздел новостей.
        Сергей Шлоков
        Сергей Шлоков Эксперт
        07 декабря 2015, 09:12
        Кстати, сделать его не очень сложно.
      Spirit_Ninja
      Spirit_Ninja Старожил
      21 июня 2017, 18:36
      Получилось решить с парсером? Нашли дпополнение (исполнителя)? Есть аналогичная задача.
        Павел Гвоздь
        Павел Гвоздь Эксперт
        21 июня 2017, 18:49
          Spirit_Ninja
          Spirit_Ninja Старожил
          22 июня 2017, 00:43
          Интересно. А можно настроить парсинг отдельных разделов сайта-донора с той периодичностью, когда они появляются? или только RSS?
            Павел Гвоздь
            Павел Гвоздь Эксперт
            22 июня 2017, 06:20
            С чего вы взяли вообще, что только RSS? Это логотип вас так смущает? Можно настроить крон запуск с любой периодичностью.
        Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.
        19