Действие выбора - это взаимодействие пользователя с пользовательским интерфейсом браузера, но scrapy не отображает веб-страницу, мы не можем имитировать взаимодействие с пользователем или запускать Javascript с ним. Однако, если вы заинтересованы в сканировании путем имитации взаимодействия с пользователем, selenium может быть хорошим инструментом для вас.
Вернемся к вопросу, если мы хотим сканировать с scrapy, мы должны сосредоточиться на запросах и ответах , отправленных на целевой веб-сайт или на него, вы можете войти в них в Инструментах разработчика вашего браузера. После того, как вы открыли инструмент разработчика, откройте выпадающее меню и увидите, что на этот URL-адрес отправляется соответствующий запрос:
https://cn.investing.com/equities/StocksFilter?noconstruct=1&smlID=0&sid=&tabletype=price&index_id=166
Это запрос GET , с index_id, назначенным для выбранного идентификатора запаса, вы можете получить идентификатор запаса и имя из HTML-элемента https://investing.com/equities
'xpath of stock ID: //*[@id="stocksFilter"]/option/@id'
'xpath of stock Name: //*[@id="stocksFilter"]/option/text()'