google api для получения позиций в поисковой выдаче. Оно существует?
Господа и дамы, поделитесь пожалуйста, сталкивался ли кто то с возможностью получения позиции сайта по той или иной фразе в выдаче google?
Не через сторонние сервисы, а напрямую от google.
Буду благодарен за ссылку на информацию…
Не через сторонние сервисы, а напрямую от google.
Буду благодарен за ссылку на информацию…
Комментарии: 5
Такого функционала или API нет и не будет. Можешь купить прокси, парсить выдачу. Но это намного дороже и трудозатратно, нежели воспользоваться сторонними приложениями. Можешь воспользоваться allpositions, там есть api и цены не дорогие.
спасибо, Роман, что подтвердили мои опасения.
Не могу пользоваться allposition или ему подобными, поскольку задача от руководство стоит так «разработать сервис статистики для нашей компании, который будет независим от других сервисов».
В случае с яндекс я пользуюсь yandex XML. Для обхода ограничений на запросы с одного IP разработал кластерную архитектуру приложения, где к программе можно добавлять дешевые виртуальные сервера и запросы на яндекс идут с их IP.
Похоже, парсить выдачу google — это единственный вариант.
Роман, к своему стыду я не совсем понимаю фразу «купить прокси чтобы парсить». Не понимаю саму технологию процесса, можете дать ссылку почитать как это работает?
Я подозреваю, что гугл, если напрямую быстро отсылать get запросы на сайт и парсить html быстро заблокирует мой IP или включит каптчу. Но не понимаю как использование прокси может это решить, ведь это не позволит на одном сервере иметь 10 IP адресов, чтобы отсылать запросы каждый раз с разного IP и не быть забаненым?
Не могу пользоваться allposition или ему подобными, поскольку задача от руководство стоит так «разработать сервис статистики для нашей компании, который будет независим от других сервисов».
В случае с яндекс я пользуюсь yandex XML. Для обхода ограничений на запросы с одного IP разработал кластерную архитектуру приложения, где к программе можно добавлять дешевые виртуальные сервера и запросы на яндекс идут с их IP.
Похоже, парсить выдачу google — это единственный вариант.
Роман, к своему стыду я не совсем понимаю фразу «купить прокси чтобы парсить». Не понимаю саму технологию процесса, можете дать ссылку почитать как это работает?
Я подозреваю, что гугл, если напрямую быстро отсылать get запросы на сайт и парсить html быстро заблокирует мой IP или включит каптчу. Но не понимаю как использование прокси может это решить, ведь это не позволит на одном сервере иметь 10 IP адресов, чтобы отсылать запросы каждый раз с разного IP и не быть забаненым?
Ещё к позволит, смысл прокси тот же самый, что и ваша «кластерная архитектура», только без vps и ещё дешевле.
Интересно, Александр, где вы встретили ограничение запросов по ip, ведь на сколькр мне известно, там наоборот нужно указать конкретный ip с которого будут запросы, а ограничение основано на XML-лимитах, которые выдает Яндекс щас подключенные сайты в сервисе я.вебмастер.
Существует даже «рынок» этих лимитов.
Сколько раз переносили наш сборщик на новы сервер, каждый раз приходилось руками указывать его новый ip в Яндекс.XML…
А для Гугла вам по-любому понадобятся прокси или VPS или ещё что-то для подмены ip (хоть vpn), для корректного снятия позиций в разных регионах, потому что гугл плевать хотел что вы задаёте регион явно, выдача все равно идёт с учётом ip. Поправьте меня если что!
Интересно, Александр, где вы встретили ограничение запросов по ip, ведь на сколькр мне известно, там наоборот нужно указать конкретный ip с которого будут запросы, а ограничение основано на XML-лимитах, которые выдает Яндекс щас подключенные сайты в сервисе я.вебмастер.
Существует даже «рынок» этих лимитов.
Сколько раз переносили наш сборщик на новы сервер, каждый раз приходилось руками указывать его новый ip в Яндекс.XML…
А для Гугла вам по-любому понадобятся прокси или VPS или ещё что-то для подмены ip (хоть vpn), для корректного снятия позиций в разных регионах, потому что гугл плевать хотел что вы задаёте регион явно, выдача все равно идёт с учётом ip. Поправьте меня если что!
где вы встретили ограничение запросов по ip,
Возможно я не совсем корректно сформулировал, не думал что нужно так детально.Смотрите с чем столкнулся я касательно яндекса.
Покупаем на той самой бирже о которой вы говорите аккаунт. На нем к примеру 5000 лимитов и при покупке мы указали ip адрес сервера, с которого будем слать запросы яндексу. Получаем токен для подключение.
На этом сервере работает мое программное обеспечение (там много всего, включая построитель очереди задач на сутки в редис и прочее), но суть сбора данных с яндекса заключается в отправке запросов на определенный url яндекса (передаем фразу которую ищем, регион, токен и прочее если нужно) и получение в формате xml результатов. Парсю этот xml и нахожу на какой позиции находится (если находится) домен, статистику для которого я снимаю.
Так вот. Яндекс во первых вводит ограничения на то, сколько мы можем использовать лимитов в час (ночью больше, а днем на час дается очень мало) и плюс ограничивает частоту запросов С ОДНОГО IP. Если пытаешься отсылать запросы чаще чем… ну к примеру раз в секунду, то яндекс временно тебя отключит.
И исходя из этого возникают проблемы.
Первая — купили мы на бирже аккаунт на 5000 лимитов, а что если у нас запросов наши сеошники набросали 24 000 штук. Мы физически не можем за сутки их обработать, потому что в идеальном варианте (если нигде ничего не сбоило) у нас всего 5000 лимитов. Вроде бы логично иметь несколько аккаунтов (купленных на бирже или же своих) и если на одном закончились лимиты, просто переключиться на другой. И изначально такую систему балансировки между несколькими аккаунтами я и разработал. Но оказалось что яндекс не позволяет иметь два аккаунта, которые работают с одного IP. Тоесть вы не можете на бирже купить один акаунт и указать 123.123.123.123 и купить второй аккаунт и указать такой же IP.
Один аккаунт = один IP и именно это я имел ввиду под «ограничением на один IP»
Я по прежнему не понимаю о каком прокси все говорят и как он может отправлять запросы с одного сервера но при этом чтобы все запросы шли с разных IP (причем не случайных, а заранее определенных IP)
Мне кажется это называется не прокси, а VPN.
Я же понимаю проксирование как например работает nginx. Он может принять запрос слушая определенный порт, проанализировать его и понять куда его направить. Но как он может отправить первый запрос на яндекс с одного IP а другой — с другого. а третий снова с первого — не понимаю.
Разве что где то в сети интернет стоят сервера, суть которых просто принять запрос и в таком же виде передать его…
Ну в общем пока я не пойму теорию, я не моги понять о чем речь, нельзя же просто так сказать — тебе поможет прокси) Это все равно что раненому больному сказать — тебе поможет скальпель. Оно вроде как и логично, но без теории проведения хирургических операций — скальпель не поможет.
Поэтому буду благодарен за ссылки где изучить, что такое — прокси, о котором все говорят)
Но и кстати, я так понимаю что это тоже чей то чужой платный сервис и если он перестал рабоать — то мой сервис тоже лег? В таком случае содержать свои vps ки мне кажется более правильным, я моги следить за ними, администрировать. И что важно — регулировать их количество в зависимости от нагрузки на систему. К примеру в этом месяце сешники хотят в день снимать 50 000 запросов, я могу просчитать сколько серверов мне для этого нужно и за 20 минут установить на них убунту, свое программное обеспечение и они сразу включаться в работу. Если нагрузка упала — я пошел их удалил и не платим за них.
для корректного снятия позиций в разных регионах, потому что гугл плевать хотел что вы задаёте регион явно, выдача все равно идёт с учётом ip.Вот этого я не знал, спасибо.
Авторизуйтесь или зарегистрируйтесь, чтобы оставлять комментарии.