Невозможно удалить из выпадающего списка с помощью Scrapy

Question

Я пытаюсь удалить список рынков из раскрывающегося списка JS, встроенного на веб-сайт: https://e27.co/startups

Используя оболочку scrapy, я попытался удалить список рынков из раскрывающегося меню «Рынки».но не могу этого сделать.

После запуска scrapy shell 'https://e27.co/startups' я попытался использовать как response.css(), так и response.xpath().

Для селектора css:

response.css('#startups-page > div > div.search-block.box-view > div.row.mbt-s > div > div > ul > li:nth-child(3)')

Для xpath я попытался:

response.xpath('//*[@id="startups-page"]/div/div[1]/div[2]/div/div/ul/li[3]/a"')

Оба получены из проверки выпадающего элемента.

Однако возвращается пустой список.

Могу я узнатькак убрать все разные рынки из выпадающего списка?Спасибо.

Answer 1

Эти данные находятся в отдельном небольшом запросе к https://e27.co/startups?json.

С scrapy shell "https://e27.co/startups?json" Я мог бы получить весь список с этим выражением:

In [1]: response.css('select#market option::text').extract()
Out[1]: 
[u'Advertising',
 u'Aerospace',
 u'Agency & Consulting',
 u'Agritech',
 u'Architecture & Construction',
...