Как разобрать динамический элемент DOM? - PullRequest
Новая
       7

Как разобрать динамический элемент DOM?

0 голосов
/ 13 мая 2019

Я хочу сделать парсер для очистки цены, однако я не могу найти рабочий метод синтаксического анализа innerHTML

Я не знаю почему, но селен (getAttribute (innerHTML)), phantomjs (page.evaluation function () {return document.ElementToParse.innerHTML}) и scrapy-splash (загрузили веб-страницу с помощью WebPageEngine и разбирали html) не работает Все время результат пуст "[]", ноль или webelement

Я проверяю свой код на продуктах Banggood, а также на целевой странице, но результат всегда одинаков. 

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Firefox()
driver.get("https://www.banggood.com/BlitzWolf-Ampcore-Turbo-TC10-3A-Durable-USB-Type-C-Charging-Data-Cable-p-1188424.html?rmmds=category&cur_warehouse=CN") #random url
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, "item_now_price"))
    )
finally:
    driver.quit()
print(element)

и вывод: 

<selenium.webdriver.firefox.webelement.FirefoxWebElement (session="b0593791-138b-4177-a8f3-e7983143824a", element="d08f4717-d3f1-4594-8f2b-1bf943deb9f9")>

когда нужно что-то вроде: 

6.59(or US$6.59)

я тоже пробовал 

price = driver.find_element_by_class_name('item_now_price').getAttribute("innerHTML")

и 

var page = require('webpage').create();

page.open('https://www.banggood.com/BlitzWolf-Ampcore-Turbo-TC10-3A-        Durable-USB-Type-C-Charging-Data-Cable-p-1188424.html?rmmds=category&cur_warehouse=CN', function(status) {

    var price = page.evaluate(function() {
        return document.getElementByClassName('item_now_price').innerHTML;
        });
console.log('price is ' + price);
phantom.exit();
});

но результат равен нулю, и когда я добавляю 

page.includeJs(/url/to/js)

терминал перестает работать

S

Ответы [ 2 ]

0 голосов
/ 13 мая 2019 
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.Chrome()
driver.get("https://www.banggood.com/BlitzWolf-Ampcore-Turbo-TC10-3A-Durable-USB-Type-C-Charging-Data-Cable-p-1188424.html?rmmds=category&cur_warehouse=CN") #random url
try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, "item_now_price"))
    ).text
finally:
    driver.quit()
print(element)
0 голосов
/ 13 мая 2019

Как только вы получите элемент в селене, вы можете получить текст этого элемента с помощью .text

См. Небольшую корректировку вашего первого примера ниже: 

try:
    element = WebDriverWait(driver, 10).until(
        EC.presence_of_element_located((By.CLASS_NAME, "item_now_price"))
    )
    print(element.text)
finally:

Посмотрите, еслиэто дает результаты, которые вы ищете.

...