Amazon scrapper: Amazon обнаруживает моего бота? - PullRequest
0 голосов
/ 24 апреля 2020

Надеюсь, вы мне поможете, я использую селен и python для бота, который отвечает за извлечение данных с amazon.com. Это процесс

  1. Бот входит в amazon.com
  2. Выполните поиск (искомый продукт взят из листа Excel, находящегося на диске)
  3. Возьмите первый предмет, который выходит на основе его данных и / или индекса данных
  4. Благодаря данным я могу зайти на страницу указанного продукта
  5. Сбор данных
  6. Повторите, пока продукты существуют на листе Excel

Проблема возникает на шаге 4, иногда по какой-то причине данные не могут быть найдены или происходит что-то странное, и amazon перенаправляет меня на эту страницу: https://www.amazon.com/b?node=20547412011&language=es_US и так далее. какое-то время, после примерно 6 или 7 продуктов все возвращается в нормальное состояние

try:
    first_result = self.wait.until(EC.visibility_of_element_located((By.CSS_SELECTOR, "div[data-asin]")))
except:
    try:
        first_result = self.driver.find_element_by_css_selector("div[data-index*='0']")
    except:
        #Proceso que se realiza cuando nada se encuentra

Итак, я получаю первый результат, и поэтому я go перехожу на страницу продукта:

asin = first_result.get_attribute("data-asin")
if asin is not None or asin != "":
    url = "https://amazon.com/-/es/dp/" + asin

# Obtener info del producto

price = self.get_product_price(url)
name = self.get_product_name(url)
availability = self.get_product_availability(url)
image = self.get_product_img(url)
category = self.get_product_category(url)
description = self.get_product_description(url)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...