Я пытаюсь загрузить несколько миллионов веб-страниц, которые Google уже проиндексировал. Я использовал прокси с переменным успехом напрямую, но для пропускной способности я считаю, что это относительно непомерно дорого.
Есть ли способ получить доступ к кешу веб-сайтов Google с помощью ip's datacenter? - Я не заставил его работать надежно.
Я пытался использовать HTTRACK, перехитрить и написать базовый скрипт в облаке Google.
Я всегда сталкиваюсь с ограничениями прокси-сервисов.
В идеальном мире я могу просто загрузить страницы кэша Google.