Скрап не может выбрать по идентификатору

Question

Я пытаюсь удалить данные для школьного проекта, но по какой-то причине я не могу понять, как получить данные из таблицы на этой странице. Я тестирую в scrapy shell и просто не получаю никаких данных обратно. Вот что я пытаюсь

scrapy shell https://www.psacard.com/pop/baseball-cards/1911/turkey-red-cabinets-t3-t9/51453

table = response.xpath('//*[@id="DataTables_Table_0"]/table/tbody')

это возвращается []

Я пробовал со всем классом таблиц, как например

table = response.xpath('//*[@class="clear interior-result-table pop-grid items psa table-striped dataTable no-footer dtr-inline"]')

и получаю тот же [] ответ

Я в тупике. есть идеи?

Answer 1

Все необходимые данные находятся в другом запросе. Вы можете найти это в инструментах разработчика в Chrome, например. Проверьте https://www.psacard.com/Pop/GetItemTable?headingID=51453&categoryID=20003&isPSADNA=false&pf=0&_=1555080293549. Даже обычный запрос GET к этой ссылке даст вам строки таблицы.