Использование Scrapy для очистки веб-страницы

Question

Я пытаюсь очистить самую большую таблицу с этой страницы. Я работаю в приглашении conda

http://www.tennisabstract.com/cgi-bin/player-classic.cgi?p=RafaelNadal&f=ACareerqq

Вот моя попытка:

scrapy shell
fetch('http://www.tennisabstract.com/cgi-bin/player-classic.cgi?p=RafaelNadal&f=ACareerqq')
table = response.xpath('//table[@id="matches"]')
rows = table.xpath('//tr')

Это похоже на правильную таблицу, но я получаю строкине верны;они приходят с верхней части веб-страницы.

Моя другая попытка была такой:

table = response.xpath('//table[@id="matches"]//tr')

Но это просто возвращает пустой список.

Любая помощь приветствуется

Спасибо

Answer 1

table.extract() возвращает пустую таблицу ['<table id="matches"></table>'] здесь. Кажется, данные загружаются в таблицу динамически. Вам потребуется использовать Selenium или ScrapyJS для получения данных в таких случаях. Для получения дополнительной информации см. Ссылку