Как получить ASIN XPATH с 2 разных страниц Amazon, имеющих одинаковые родительские узлы? - PullRequest
Новая
       35

Как получить ASIN XPATH с 2 разных страниц Amazon, имеющих одинаковые родительские узлы?

0 голосов
/ 03 мая 2018

Я создал программу очистки веб-страниц с использованием python и webdriver, и я хочу извлечь ASIN из 2 разных страниц. Я хотел бы, чтобы xpath работал для этих двух ссылок одновременно. Это страницы Amazon: https://www.amazon.com/Hydro-Flask-Wide-Mouth-Flip/dp/B01ACATW7E/ref=sr_1_3?s=kitchen&ie=UTF8&qid=1520348607&sr=1-3&keywords=-gfds и https://www.amazon.com/Ubbi-Saving-Special-Required-Locking/dp/B00821FLSU/ref=sr_1_1?s=baby-products&ie=UTF8&qid=1520265799&sr=1-1&keywords=-hgfd&th=1. Они имеют одинаковые родительские узлы (id, классы). Как я могу заставить эту программу работать для этих 2 ссылок одновременно?

Итак, проблема в следующих строках кода: 36, 41 

asin = driver.find_element_by_xpath('//div[@id="detail-bullets"]/table/tbody/tr/td/div/ul/li[4]').text

и 

asin = driver.find_element_by_xpath('//div[@id="detail-bullets_feature_div"]/div[@id="detail-bullets"]/table/tbody/tr/td/div/ul/li[5]').text. I have to change these lines to output in the csv the ASINs for these 2 products. For the first link it prints the wrong information and for the second it prints the ASIN.

Я прикрепил код. Я буду признателен за любую помощь. 

from selenium import webdriver
import csv
import io

# set the proxies to hide actual IP

proxies = {
    'http': 'http://5.189.133.231:80',
    'https': 'https://27.111.43.178:8080'
}

chrome_options = webdriver.ChromeOptions()

chrome_options.add_argument('--proxy-server="%s"' % ';'.join(['%s=%s' % (k, v) for k, v in proxies.items()]))

driver = webdriver.Chrome(executable_path="C:\\Users\Andrei-PC\Downloads\webdriver\chromedriver.exe",
                          chrome_options=chrome_options)
header = ['Product title', 'ASIN']

with open('csv/bot_1.csv', "w") as output:
    writer = csv.writer(output)
    writer.writerow(header)

links=['https://www.amazon.com/Hydro-Flask-Wide-Mouth-Flip/dp/B01ACATW7E/ref=sr_1_3?s=kitchen&ie=UTF8&qid=1520348607&sr=1-3&keywords=-gfds',
       'https://www.amazon.com/Ubbi-Saving-Special-Required-Locking/dp/B00821FLSU/ref=sr_1_1?s=baby-products&ie=UTF8&qid=1520265799&sr=1-1&keywords=-hgfd&th=1'
       ]

for i in range(len(links)):

    driver.get(links[i])

    product_title = driver.find_elements_by_xpath('//*[@id="productTitle"][1]')
    prod_title = [x.text for x in product_title]

    try:
        asin = driver.find_element_by_xpath('//div[@id="detail-bullets"]/table/tbody/tr/td/div/ul/li[4]').text
    except:
        print('no ASIN template one')

    try:
        asin = driver.find_element_by_xpath('//div[@id="detail-bullets_feature_div"]/div[@id="detail-bullets"]/table/tbody/tr/td/div/ul/li[5]').text
    except:
        print('no ASIN template two')

    try:
        data = [prod_title[0], asin]
    except:
        print('no items v3 ')

    with io.open('csv/bot_1.csv', "a", newline="", encoding="utf-8") as output:
        writer = csv.writer(output)
        writer.writerow(data)

1 Ответ

0 голосов
/ 03 мая 2018

Вы можете просто использовать 

//li[b="ASIN:"]

чтобы получить необходимый элемент на обеих страницах

...