Получить содержание результатов поиска Google

Question

Я хочу получить или купить контент результатов поиска Google (структурированный) от самого Google или любого другого источника, который может продавать данные Google на законных основаниях. Например, я хочу получить все результаты по конкретному ключевому слову за последние 6 месяцев.

Это будет хорошим поворотом, если я смогу получить содержание страницы только как необработанный текст для этой стадии.

Answer 1

Автоматическое считывание / удаление Google SERP против Google ToS. С этой точки зрения никто не продает такие данные на законных основаниях - любой продавец нарушает Googles ToS.

На сайте markt много предложений, где вы можете получать данные SERP в виде JSON или полного HTML через доступ через API - просто Google для этого.

Способ, которым каждый продавец выполняет очистку SERP, всегда один и тот же - вы можете сделать это самостоятельно. Запускайте много прокси с IP-адресами стран, откуда вам нужны SERP, и запрашивайте Google с помощью своего рода безголового браузера. Используйте сервисы для определения капчи, чтобы получить данные, даже если IP-адрес должен быть заблокирован. Многопоточность ваших запросов, чтобы получить больше данных одновременно. Вот и вся магия.