Scrapy xpath селектор для каждого ряда - PullRequest
Новая
       15

Scrapy xpath селектор для каждого ряда

0 голосов
/ 07 ноября 2018

Я пытаюсь почистить эту страницу "https://myanimelist.net/anime.php?letter=A", я нашел нужную информацию, но хотел бы получить i для каждой строки и удалить // n / n 

for anime in tree.xpath('//*[@id="content"]/div[5]/table//tr'): 
data = {"title" : anime.xpath("//strong//text()").extract(),
        "synopsis" :  anime.xpath("//td[2]//text()").extract(),
        "type_" :  anime.xpath("//td[3]//text()").extract(),
        "episodes" :  anime.xpath("//td[4]//text()").extract(),
        "score" :  anime.xpath("//td[5]//text()").extract()}

Более того, я даже не уверен, что поймаю каждый аниме, присутствующий на странице. Если бы кто-то тоже мог показать мне метод css, было бы замечательно (с целью изучения)

1 Ответ

0 голосов
/ 07 ноября 2018

Как я и просил, я просто предоставляю примеры CSS для нескольких точек данных, а остальные оставляю для себя для изучения: 

In [1]: fetch('https://myanimelist.net/anime.php?letter=A')
2018-11-06 23:15:40 [scrapy.core.engine] INFO: Spider opened
2018-11-06 23:15:41 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://myanimelist.net/anime.php?letter=A> (referer: None)

In [2]: for tr_sel in response.css('div.js-categories-seasonal tr ~ tr'):
   ...:     sample_data = {
   ...:         'title': tr_sel.css('a[id] strong::text').extract_first(),
   ...:         'type': tr_sel.css('td:nth-child(3)::text').extract_first(),
   ...:     }
   ...:     print(sample_data)

Дополнительная информация: https://www.w3schools.com/cssref/css_selectors.asp

...