Я создаю портал, который перечисляет определенные продукты и автоматически получает цены со страниц продуктов перечисленных поставщиков. Чтобы получить URL-адрес для страницы продукта на веб-сайте поставщика, я использовал Google Search API, и он отлично работал - первым результатом всегда является страница продукта. Однако теперь я получаю сообщения об ошибках, говорящих о том, что Google заблокировал мой веб-сайт (фактически IP-адрес моего компьютера для разработки) из API, поскольку я выполнял автоматические запросы, такие как очистка (единственный применимый элемент).
Хорошо, Google может спрыгнуть с обрыва, но ... как порталы продуктов обычно получают URL-адреса для своих продуктов? Я могу ввести URL-адреса вручную, но это может стать проблемой, если веб-сайт поставщика каким-либо образом изменит схему URL-адреса. Мне, очевидно, нужен автоматизированный способ сделать это.
Я делаю не более 50-60 запросов в день, поэтому я не получаю то, что хочет Google. Они хотят денег?