API / скрипт для определения поисковой выдачи сайта? - PullRequest
Новая
       27

API / скрипт для определения поисковой выдачи сайта?

3 голосов
/ 03 января 2011

Я бы хотел иметь возможность программно определять рейтинг страницы в поисковых системах по конкретным ключевым словам.Он должен масштабироваться до нескольких сотен запросов в день.

Первая идея: очистка

В TOS Google говорится: Вы специально соглашаетесь не получать доступ (илипытаться получить доступ к) любой из Услуг любым автоматическим способом (включая использование сценариев или сканеров) [...] . Так что это не вариант ...

Вторая идея: использовать сторонний инструмент

Очевидно, есть несколько веб-сайтов, которые могут определить SERP(например, Raven / SEOMoz?) - вероятно, есть хотя бы один, который предлагает API для этого. НО: очень вероятно, что будет стоить довольно много денег

PS: Как, черт возьми, они это делают (см. Идею 1)?

Третья идея: использовать пассивную SERP

Я читал, что Google Analytics (все веб-сайты используют его) можно изменить , чтобы получить рейтинг - НО: у меня нет разрешенияизменить настройки фильтра профилей сайтов.

Итак - что делать?

Ответы [ 4 ]

1 голос
/ 16 февраля 2012

Недавно Google изменил структуру HTML страниц SERP, поэтому старые скриптовые скрипты не работают. Я переписал свой старый скрипт SERP, чтобы учесть новые изменения, отметьте http://dobrisa.com/. Скрипт полезен для небольшой компании, которая хочет отслеживать свой рейтинг SERP по различным ключевым словам, его также легко изменить, чтобы добавить больше функциональности. Причина, по которой я назвал небольшую компанию, потому что Google не любит Scrapping, я знаю, что они основывают свой бизнес на том, что скребут сайты других людей, но им не нравится, когда кто-то делает это с ними :), в любом случае, они будут наказывать вас, забанят ваш IP-адрес, если нашел ваше поведение показательным. До этого момента я не нашел другого полезного метода определения рейтинга в Google, кроме скребков.

0 голосов
/ 20 января 2018

Мы столкнулись с подобной проблемой, не для SEO, но пытаясь извлечь изображения из результатов поиска Google для проекта машинного обучения. Мы закончили создание собственного решения: Serp Api

Мы запускаем полноценный браузер для каждого запроса, имеем IP-адреса по всему миру и можем прозрачно решать CAPTCHA. У нас также есть Ruby , Python и Java интеграции. В противном случае вы можете просто использовать регулярные запросы get для получения наших данных.

0 голосов
/ 16 февраля 2012

Что я сделал, так это изменил код отслеживания JavaScript, чтобы получить параметры cd и q referer и сохранил его в БД.Вы можете использовать AJAX, чтобы сохранить его, где вы хотите.Однако хорошо иметь источник данных инструментов для веб-мастеров, чтобы сравнивать средние позиции с данными отслеживания положения.SeoMoz предоставляет вам сложности с ключевыми словами, средства пересечения ссылок и инструменты OSE, которые, я думаю, могут стоить 99 долларов.Raventools - это еще один хороший вариант, который включает в себя другие сторонние Apis как semrush.

0 голосов
/ 04 января 2011

сначала проверьте инструменты google для веб-мастеров "ваш сайт в Интернете" -> "поисковые запросы" ... вы можете экспортировать данные в формате csv и посмотреть, попадут ли ваши целевые ключевые слова в этот список.

думаю, что это в основном лучший способ. Зачем? SERPs! = SERPs - SERPs, которые вы видите (или ваш сканер видит), не являются SERPs, которые видят другие люди, люди, которые видят SERP, основаны на таком количестве факторов (история веб-поиска, выход из системы, вход в систему, Google дата-центр, который вам обслуживают, ваше местоположение, ... и это лишь некоторые из них), что любое решение для сканирования - это просто ... бессмысленный снимок.

сторонние сервисы, о которых вы упоминаете, просто игнорируют правила Google. Вы также можете сделать это - но время от времени Google просто блокирует вас (поэтому не рекомендуется, если вы делаете это из сети вашей компании, у вас иногда будут проблемы с доступом к Google)

или используйте API веб-поиска Google (но в основном это результаты! = То, что вы видите в реальных поисковой выдаче)

что касается GA: получить доступ (несмотря ни на что), создать профиль, поиграть с фильтрами. в GA так много информации, что данные рейтинга - это лишь верхушка айсберга.

p.s .: см. Также https://webmasters.stackexchange.com/ для дополнительных вопросов по SEO

...