Соскоб внутри только определенных элементов с Scrapy / Python - PullRequest
Новая
       41

Соскоб внутри только определенных элементов с Scrapy / Python

0 голосов
/ 10 октября 2018

Я пытаюсь удалить с этого сайта , в частности в формате: [TEAM, PLAYER_NAME].Я также должен сделать это отдельно, используя response.xpath (). Extract ().Тем не менее, я хотел бы знать, возможно ли очистить этот элемент.

Ниже мой код, который у меня есть.Поток - я думаю - соскребет каждую команду гостей, а затем соскребет игроков под ней.Однако я не могу найти способ сделать это.Когда я запускаю extract (), он извлекает все xpaths. 

#Extracting the number of games
games = response.xpath('//li[@data-role="lineup-card"]').extract()
num_of_games = len(games)

#generating loop to generate the lineups
while j < num_of_games:
    lineups[j] = []
    away_team = games[j][games[j].find(' data-away="')+12:games[j].find(' data-away="')+15]
    home_team = games[j][games[j].find(' data-home="')+12:games[j].find(' data-home="')+15]

    #scrape players for away_team
    players = response.xpath("//span[@class='pname']").extract()
    i = 0
    while i < len(players):
        name = players[i]
        name1 = name[name.find(' title="')+8:1000]
        name2 = name1[0:name1.find('"')]
        lineups.append(name2)
        i += 1
    j += 1
print(lineups)
...