Как накрыть стол красивым супом - PullRequest
Новая
       4

Как накрыть стол красивым супом

1 голос
/ 08 июля 2020

Я пытаюсь очистить таблицу, чтобы сопоставить роли, назначенные чемпионам в проекте, над которым я работаю. Мой код на данный момент: 

from bs4 import BeautifulSoup
import requests
import pandas as pd

url = 'https://leagueoflegends.fandom.com/wiki/List_of_champions/Position'
r = requests.get(url)
soup = BeautifulSoup(r.content, 'html.parser')

champion_table = soup.find('table', class_ = 'article-table sortable')

Если я напрямую импортирую его в фрейм данных panda, в нем отсутствуют некоторые элементы, потому что часть кода html отображается как изображение (галочки), а не текст, поэтому фрейм данных не берет его и не регистрирует в NaN. 

df = pd.read_html(str(champion_table))
print(df)

[    Champion Unnamed: 1 Unnamed: 2 Unnamed: 3  Unnamed: 4 Unnamed: 5  \
0     Aatrox        NaN         OP         OP         NaN        NaN   
1       Ahri        NaN        NaN        NaN         NaN        NaN   
2      Akali        NaN        NaN        NaN         NaN        NaN   
3    Alistar        NaN        NaN        NaN         NaN        NaN   
4      Amumu        NaN        NaN        NaN         NaN        NaN   
..       ...        ...        ...        ...         ...        ...   
144      Zed        NaN        NaN        NaN         NaN        NaN   
145    Ziggs        NaN        NaN        NaN         NaN        NaN   
146   Zilean        NaN        NaN         OP         NaN        NaN   
147      Zoe        NaN        NaN        NaN         NaN        NaN   
148     Zyra        NaN        NaN          ✎         NaN        NaN   

     Unnamed: 6  
0           NaN  
1           NaN  
2           NaN  
3           NaN  
4           NaN  
..          ...  
144         NaN  
145         NaN  
146         NaN  
147         NaN  
148         NaN

Я новичок в программировании на Python, поэтому прошу прощения за то, что не сделал то, что может показаться очевидным. Я не знаю, как эффективно написать код для анализа данных с веб-сайта. 

rows = champion_table.find_all('tr')[1:]
champ_names = []
empty_td = []
for row in rows:
    links = row.find_all('a')
    for link in links[::2]:
        champ_names.append(link['title'])
    img = row.find_all('img')
    for row in img[::2]:
        empty_td.append(row['alt'])

Я написал этот код, чтобы записать список имен чемпионов и установить галочку, но я не знаю, что нужно создать фреймворк с нуля. Как бы мне go выяснить, как получить фрейм данных, показывает имя чемпиона и их соответствующие роли (меня интересует только клавиша галочки, а не другие).

Кроме того, как получится, если я ищите name = row.find('td', class_ = 'inline-image label-after champion-icon'), он не распознает атрибут класса, но вместо этого мне нужно найти его с помощью тега 'a'.

Спасибо за вашу помощь

Ответы [ 2 ]

0 голосов
/ 08 июля 2020

Вы можете проверить, совпадает ли источник изображения с изображением галочки ... Таким образом, вы не будете неправильно отмечать какое-либо изображение как галочку. 

tick = 'data:image/gif;base64,R0lGODlhAQABAIABAAAAAP///yH5BAEAAAEALAAAAAABAAEAQAICTAEAOw%3D%3D'
rows = champion_table.find_all('tr')[1:]
champs = []
for row in rows:
    data = []
    
    links = row.find_all('a')
    for link in links[::2]:
        data.append(link['title'])
    
    for td in row.find_all('td')[1:]: # [1:] to ignore profile picture
        try:
            src = td.find('img')['src'] 
            if src == tick: # if the image's src matches the tick images src then append tick
                data.append('tick')
            else:
                data.append('none')
        except: # if src can't be found then append none
            data.append('none')
    champs.append(data)

Вывод: 

[['Aatrox', 'tick', 'none', 'none', 'none', 'none', 'none'],
 ['Ahri', 'none', 'none', 'tick', 'none', 'none', 'none'],
 ['Akali', 'tick', 'none', 'tick', 'none', 'none', 'none'],
 ['Alistar', 'none', 'none', 'none', 'none', 'tick', 'none'],
 ['Amumu', 'none', 'tick', 'none', 'none', 'none', 'none'],
 ['Anivia', 'none', 'none', 'tick', 'none', 'none', 'none'],
 ['Annie', 'none', 'none', 'tick', 'none', 'none', 'none'],
 ['Aphelios', 'none', 'none', 'none', 'none', 'none', 'none'],
 ['Ashe', 'none', 'none', 'none', 'tick', 'none', 'none'],
 ['Aurelion Sol', 'none', 'none', 'tick', 'none', 'none', 'none'],
 ['Azir', 'none', 'none', 'tick', 'none', 'none', 'none'],
 ['Bard', 'none', 'none', 'none', 'none', 'tick', 'none'],
 ['Blitzcrank', 'none', 'none', 'none', 'none', 'tick', 'none'],
 ['Brand', 'none', 'none', 'none', 'none', 'tick', 'none'],
 ['Braum', 'none', 'none', 'none', 'none', 'tick', 'none'],
 ['Caitlyn', 'none', 'none', 'none', 'tick', 'none', 'none'],
 ['Camille', 'tick', 'none', 'none', 'none', 'none', 'none'],
 ['Cassiopeia', 'none', 'none', 'tick', 'none', 'none', 'none'],
 ["Cho'Gath", 'tick', 'none', 'none', 'none', 'none', 'none'],
... and so on

И затем вы можете просто сделать: 

import pandas as pd
champs = pd.DataFrame(champs)

, чтобы получить фрейм данных.

И champs.columns = ['champ','top','jungle','middle','bottom','support','unplayed'], чтобы назвать столбцы: 

    champ   top     jungle  middle  bottom  support     unplayed
0   Aatrox  tick    none    none    none    none    none
1   Ahri    none    none    tick    none    none    none
2   Akali   tick    none    tick    none    none    none
3   Alistar     none    none    none    none    tick    none
4   Amumu   none    tick    none    none    none    none
...     ...     ...     ...     ...     ...     ...     ...
144     Zed     none    none    tick    none    none    none
145     Ziggs   none    none    tick    none    none    none
146     Zilean  none    none    none    none    tick    none
147     Zoe     none    none    tick    none    none    none
148     Zyra    none    none    none    none    tick    none
0 голосов
/ 08 июля 2020

Вы можете использовать .replace_with(), чтобы заменить <span> на какой-либо другой знак, например X: 

import requests
import pandas as pd
from bs4 import BeautifulSoup


url = 'https://leagueoflegends.fandom.com/wiki/List_of_champions/Position'
soup = BeautifulSoup(requests.get(url).content, 'html.parser')

for s in soup.select('th span[data-param]'):
    s.replace_with(s["data-param"])

for s in soup.select('.article-table span:has(img[alt="Done"]):not(:has(a))'):
    s.replace_with('X')

for s in soup.select('.article-table span:has(img[alt="RP icon"]):not(:has(a))'):
    s.replace_with('@')


pd.set_option('display.max_rows', None)
df = pd.read_html(str(soup.select_one('.article-table')))[0]
print(df)

Печать: 

           Champion  Top Jungle Middle Bottom Support  Unplayed
0            Aatrox    X     OP     OP    NaN     NaN       NaN
1              Ahri  NaN    NaN      X    NaN     NaN       NaN
2             Akali    X    NaN      X    NaN     NaN       NaN
3           Alistar  NaN    NaN    NaN    NaN       X       NaN
4             Amumu  NaN      X    NaN    NaN     NaN       NaN
5            Anivia  NaN    NaN      X    NaN     NaN       NaN
6             Annie  NaN    NaN      X    NaN     NaN       NaN
7          Aphelios  NaN    NaN    NaN    NaN     NaN       NaN
8              Ashe  NaN    NaN    NaN      X     NaN       NaN
9      Aurelion Sol  NaN    NaN      X    NaN     NaN       NaN
10             Azir  NaN    NaN      X    NaN     NaN       NaN
11             Bard  NaN    NaN    NaN    NaN       X       NaN
12       Blitzcrank  NaN    NaN    NaN    NaN       X       NaN
13            Brand  NaN    NaN      ✎    NaN       X       NaN
14            Braum  NaN    NaN    NaN    NaN       X       NaN
15          Caitlyn  NaN    NaN    NaN      X     NaN       NaN
16          Camille    X    NaN    NaN    NaN     NaN       NaN
17       Cassiopeia  NaN    NaN      X    NaN     NaN       NaN
18         Cho'Gath    X    NaN    NaN    NaN     NaN       NaN
19            Corki  NaN    NaN      X    NaN     NaN       NaN
20           Darius    X    NaN    NaN    NaN     NaN       NaN
21            Diana  NaN    NaN      X    NaN     NaN       NaN
22        Dr. Mundo    X      X    NaN    NaN     NaN       NaN
23           Draven  NaN    NaN    NaN      X     NaN       NaN
24             Ekko  NaN    NaN      X    NaN     NaN       NaN
25            Elise  NaN      X    NaN    NaN     NaN       NaN
26          Evelynn  NaN      X    NaN    NaN     NaN       NaN
27           Ezreal  NaN    NaN    NaN      X     NaN       NaN
28     Fiddlesticks  NaN    NaN    NaN    NaN       X       NaN
29            Fiora    X    NaN    NaN    NaN     NaN       NaN
30             Fizz  NaN    NaN      X    NaN     NaN       NaN
31            Galio  NaN    NaN    NaN    NaN       X       NaN
32        Gangplank    X    NaN    NaN    NaN     NaN       NaN
33            Garen    X    NaN    NaN    NaN     NaN       NaN
34             Gnar    X    NaN    NaN    NaN     NaN       NaN
35           Gragas  NaN      X    NaN    NaN     NaN       NaN
36           Graves  NaN      X    NaN    NaN     NaN       NaN
37          Hecarim  NaN      X    NaN    NaN     NaN       NaN
38     Heimerdinger  NaN    NaN      X    NaN     NaN       NaN
39           Illaoi    X    NaN    NaN    NaN     NaN       NaN
40           Irelia    X    NaN      X    NaN     NaN       NaN
41            Ivern  NaN      X    NaN    NaN     NaN       NaN
42            Janna  NaN    NaN    NaN    NaN       X       NaN
43        Jarvan IV  NaN      X    NaN    NaN     NaN       NaN
44              Jax    X      X    NaN    NaN     NaN       NaN
45            Jayce    X    NaN    NaN    NaN     NaN       NaN
46             Jhin  NaN    NaN    NaN      X     NaN       NaN
47             Jinx  NaN    NaN    NaN      X     NaN       NaN
48           Kai'Sa  NaN    NaN    NaN      X     NaN       NaN
49          Kalista  NaN    NaN    NaN      @     NaN       NaN
50            Karma  NaN    NaN    NaN    NaN       X       NaN
51          Karthus  NaN      X    NaN    NaN     NaN       NaN
52         Kassadin  NaN    NaN      X    NaN     NaN       NaN
53         Katarina  NaN    NaN      X    NaN     NaN       NaN
54            Kayle    X    NaN    NaN    NaN     NaN       NaN
55             Kayn  NaN      X    NaN    NaN     NaN       NaN
56           Kennen    X    NaN    NaN    NaN     NaN       NaN
57          Kha'Zix  NaN      X    NaN    NaN     NaN       NaN
58          Kindred  NaN      X    NaN    NaN     NaN       NaN
59             Kled    X    NaN    NaN    NaN     NaN       NaN
60          Kog'Maw  NaN    NaN      ✎      X     NaN       NaN
61          LeBlanc  NaN    NaN      X    NaN     NaN       NaN
62          Lee Sin  NaN      X    NaN    NaN     NaN       NaN
63            Leona  NaN    NaN    NaN    NaN       X       NaN
64           Lillia  NaN    NaN    NaN    NaN     NaN       NaN
65        Lissandra  NaN    NaN      X    NaN     NaN       NaN
66           Lucian  NaN    NaN    NaN      X     NaN       NaN
67             Lulu  NaN    NaN    NaN    NaN       X       NaN
68              Lux  NaN    NaN      X    NaN       X       NaN
69         Malphite    X      X    NaN    NaN       X       NaN
70         Malzahar  NaN    NaN      X    NaN     NaN       NaN
71           Maokai    X    NaN    NaN    NaN     NaN       NaN
72        Master Yi  NaN      X    NaN    NaN     NaN       NaN
73     Miss Fortune  NaN    NaN    NaN      X     NaN       NaN
74      Mordekaiser    X    NaN    NaN    NaN     NaN       NaN
75          Morgana  NaN    NaN    NaN    NaN       X       NaN
76             Nami  NaN    NaN    NaN    NaN       X       NaN
77            Nasus    X    NaN    NaN    NaN     NaN       NaN
78         Nautilus  NaN      ✎    NaN    NaN       X       NaN
79            Neeko  NaN    NaN      X    NaN     NaN       NaN
80          Nidalee  NaN      X    NaN    NaN     NaN       NaN
81         Nocturne  NaN      X    NaN    NaN     NaN       NaN
82   Nunu & Willump  NaN    NaN    NaN    NaN     NaN       NaN
83             Olaf    X      X    NaN    NaN     NaN       NaN
84          Orianna  NaN    NaN      X    NaN     NaN       NaN
85             Ornn    X    NaN    NaN    NaN     NaN       NaN
86         Pantheon    X      X      X    NaN     NaN       NaN
87            Poppy    X    NaN    NaN    NaN     NaN       NaN
88             Pyke  NaN    NaN    NaN    NaN       X       NaN
89           Qiyana  NaN    NaN      X    NaN     NaN       NaN
90            Quinn    X    NaN    NaN    NaN     NaN       NaN
91            Rakan  NaN    NaN    NaN    NaN       X       NaN
92           Rammus  NaN      X    NaN    NaN     NaN       NaN
93          Rek'Sai  NaN      X    NaN    NaN     NaN       NaN
94         Renekton    X    NaN    NaN    NaN     NaN       NaN
95           Rengar  NaN      X    NaN    NaN     NaN       NaN
96            Riven    X    NaN    NaN    NaN     NaN       NaN
97           Rumble    X    NaN    NaN    NaN     NaN       NaN
98             Ryze    X    NaN      X    NaN     NaN       NaN
99          Sejuani  NaN      X    NaN    NaN     NaN       NaN
100           Senna  NaN    NaN    NaN    NaN     NaN       NaN
101            Sett  NaN    NaN    NaN    NaN     NaN       NaN
102           Shaco  NaN      X    NaN    NaN     NaN       NaN
103            Shen    X    NaN    NaN    NaN     NaN       NaN
104         Shyvana  NaN      X    NaN    NaN     NaN       NaN
105          Singed    X    NaN    NaN    NaN     NaN       NaN
106            Sion    X    NaN    NaN    NaN     NaN       NaN
107           Sivir  NaN    NaN    NaN      X     NaN       NaN
108         Skarner  NaN      X    NaN    NaN     NaN       NaN
109            Sona  NaN    NaN    NaN    NaN       X       NaN
110          Soraka  NaN    NaN    NaN    NaN       X       NaN
111           Swain    X    NaN      X    NaN       X       NaN
112           Sylas    X      X      X    NaN     NaN       NaN
113          Syndra  NaN    NaN      X    NaN     NaN       NaN
114      Tahm Kench    @    NaN    NaN    NaN       X       NaN
115         Taliyah  NaN      X     OP    NaN     NaN       NaN
116           Talon  NaN    NaN      X    NaN     NaN       NaN
117           Taric  NaN    NaN    NaN    NaN       X       NaN
118           Teemo    X    NaN    NaN    NaN     NaN       NaN
119          Thresh  NaN    NaN    NaN    NaN       X       NaN
120        Tristana  NaN    NaN     OP      X     NaN       NaN
121         Trundle  NaN      X    NaN    NaN     NaN       NaN
122      Tryndamere    X    NaN    NaN    NaN     NaN       NaN
123    Twisted Fate  NaN    NaN      X    NaN     NaN       NaN
124          Twitch  NaN    NaN    NaN      X     NaN       NaN
125            Udyr  NaN      X    NaN    NaN     NaN       NaN
126           Urgot    X    NaN    NaN    NaN     NaN       NaN
127           Varus  NaN    NaN    NaN      X     NaN       NaN
128           Vayne    X    NaN    NaN      X     NaN       NaN
129          Veigar  NaN    NaN      X    NaN      OP       NaN
130         Vel'Koz  NaN    NaN      X    NaN       X       NaN
131              Vi  NaN      X    NaN    NaN     NaN       NaN
132          Viktor   OP    NaN      X    NaN     NaN       NaN
133        Vladimir    X    NaN      X    NaN     NaN       NaN
134        Volibear   OP      X    NaN    NaN      OP       NaN
135         Warwick  NaN      X    NaN    NaN     NaN       NaN
136          Wukong   OP      X    NaN    NaN     NaN       NaN
137           Xayah  NaN    NaN    NaN      X     NaN       NaN
138          Xerath  NaN    NaN      X    NaN       X       NaN
139        Xin Zhao  NaN      X    NaN    NaN     NaN       NaN
140           Yasuo    X    NaN      X      @     NaN       NaN
141          Yorick    X    NaN    NaN    NaN     NaN       NaN
142           Yuumi  NaN    NaN    NaN    NaN       X       NaN
143             Zac  NaN      X    NaN    NaN     NaN       NaN
144             Zed  NaN    NaN      X    NaN     NaN       NaN
145           Ziggs  NaN    NaN      X    NaN     NaN       NaN
146          Zilean  NaN    NaN     OP    NaN       X       NaN
147             Zoe  NaN    NaN      X    NaN     NaN       NaN
148            Zyra  NaN    NaN      ✎    NaN       X       NaN
...