не удается найти содержимое таблицы (скрытая таблица) при просмотре веб-страниц - PullRequest
0 голосов
/ 17 мая 2018

Я пытаюсь очистить следующий URL-адрес (http://cmegroup.com/clearing/operations-and-deliveries/accepted-trade-types/block-data.html/#contractTypes=FUT&exchanges=XNYM&assetClassId=0), содержимое таблицы - это то, что меня интересует, однако похоже, что таблица где-то скрыта:

Щелкните правой кнопкой мыши проверку наtable, я могу получить == $ 0 (следует). Но в scrapy shell, если я выполню response.xpath ('// * [@ table]'), он ничего не возвращает, что означает, что я не могу очистить содержимое таким способом.... Пожалуйста, помогите в этом вопросе, спасибо.

ОБНОВЛЕНИЕ: Окончательное решение - использование Selenium (отличный инструмент) для этой задачи, а селен особенно полезен, когда содержимое веб-страницы, такое как таблицы ии т.д. зашифрован java, в сообществе можно найти множество инструкций по селену, вот один пример .

1 Ответ

0 голосов
/ 17 мая 2018

Причина, по которой таблица пуста, заключается в том, что вы пытаетесь удалить неправильный URL-адрес, содержащий данные таблицы, правильное значение:

http://www.cmegroup.com/CmeWS/mvc/xsltTransformer.do?xlstDoc=/XSLT/md/blocks-records.xsl&url=/da/BlockTradeQuotes/V1/Block/BlockTrades?exchange=XCBT,XCME,XCEC,DUMX,XNYM&foi=FUT,OPT,SPD&assetClassId=0&tradeDate=05172018&sortCol=time&sortBy=desc

Текст "05172018" наURL выше выглядит как фильтр даты в следующем формате: MMDDYYYY.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...