удаление таблицы из википедии с помощью Python: невозможно получить столбец - PullRequest
Новая
       23

удаление таблицы из википедии с помощью Python: невозможно получить столбец

0 голосов
/ 16 ноября 2018

Я пытаюсь удалить таблицу из Википедии 

<tr>
  <td>1</td>
  <td><span class="nowrap"><span class="datasortkey" data-sort-value="Etats unis"><span class="flagicon"><a class="image" href="/wiki/Fichier:Flag_of_the_United_States.svg" title="Drapeau des États-Unis"><img alt="Drapeau des États-Unis" class="noviewer thumbborder" data-file-height="650" data-file-width="1235" height="11" src="//upload.wikimedia.org/wikipedia/commons/thumb/a/a4/Flag_of_the_United_States.svg/20px-Flag_of_the_United_States.svg.png" srcset="//upload.wikimedia.org/wikipedia/commons/thumb/a/a4/Flag_of_the_United_States.svg/30px-Flag_of_the_United_States.svg.png 1.5x, //upload.wikimedia.org/wikipedia/commons/thumb/a/a4/Flag_of_the_United_States.svg/40px-Flag_of_the_United_States.svg.png 2x" width="20" /></a> </span><a href="/wiki/%C3%89tats-Unis" title="États-Unis">États-Unis</a></span></span></td>
  <td>19 390,60 </td>
</tr>

как вы заметили, есть 3 столбца, и вот код, который я использую 

A = []
B = []
C = []

for row in DataFondMonetaireInt.findAll("tr"):
    cells = row.findAll("td")
    if len(cells) == 3:
        A.append(cells[0].find(text=True))
        B.append(cells[1].find(text=True))
        C.append(cells[2].find(text=True))

Это хорошо работает для A и C, но не для B, я не могу получить название страны (в примере: Etats Unis)

почему это не работает?

Заранее спасибо,

Ответы [ 3 ]

0 голосов
/ 16 ноября 2018

Вы можете сделать следующее, чтобы получить каждую таблицу 

import pandas as pd
tables = pd.read_html("https://fr.wikipedia.org/wiki/Liste_des_pays_par_PIB_nominal")
[tables[i] for i in range(3)]
0 голосов
/ 17 ноября 2018

Вы также можете использовать API Википедии , чтобы получить данные WikiText : 

import requests
import wikitextparser as wtp
import re

r = requests.get(
    'https://fr.wikipedia.org/w/api.php',
    params = {
        'action': 'parse',
        'page': 'Liste_des_pays_par_PIB_nominal',
        'contentmodel': 'wikitext',
        'prop': 'wikitext',
        'format': 'json'
    }
)

data = wtp.parse(r.json()['parse']['wikitext']['*'])

f = re.compile(r'[0-9]+[.[0-9]+]?')

for i in range(1, 4):
    print([
        (t[0], wtp.parse(t[1]).templates[0].name, float(f.findall(t[2])[0]))
        for t in data.tables[i].data()
        if len(wtp.parse(t[1]).templates) > 0
    ])

Выше приведены данные из трех таблиц с использованием библиотеки WikiTextParser

0 голосов
/ 16 ноября 2018

используйте .text вместо .find(text=True) 

DataFondMonetaireInt = BeautifulSoup(html_text, "html.parser")

A = []
B = []
C = []

for row in DataFondMonetaireInt.findAll("tr"):
    cells = row.findAll("td")
    if len(cells) == 3:
        A.append(cells[0].text)
        B.append(cells[1].text.strip())
        C.append(cells[2].text)
...