Как импортировать таблицу CSS с помощью BeautifulSoup, когда таблица является объектом JSON?

Question

Я пытаюсь импортировать таблицу из URL с тяжелым CSS с использованием BS4. Вот мой код:

import csv
from bs4 import BeautifulSoup
import urllib.request as ur

outfile = open(r"table_data.csv","w+",newline='')
writer = csv.writer(outfile)

html = ur.urlopen('url')

tree = BeautifulSoup(html,"lxml")

table_tag = tree.select(playersData)[0]
tab_data = [[item.text for item in row_data.select("th,td")]
                for row_data in table_tag.select("tr")]

for data in tab_data:
    writer.writerow(data)
    print(' '.join(data))

Соответствующая часть переменной tree выглядит примерно так:

<div class="block">
<div class="block-content">
<div class="players" data-countinpage="10" data-pagination="true" id="league-players"></div>
<script>
        var playersData = JSON.parse('\x5B\x7B\x22id\x22\x3A\x221250\x22,\x22player_name\x22\x3A\x22Mohamed\x20Salah\x22,\x22games\x22\x3A\x2235\x22,\x22time\x22\x3A\x222869\x227D');
</script> </div>
</div>

Как мне импортировать playersData в csv?

Answer 1

Один из способов экспортировать таблицу в CSV будет:

import csv
from bs4 import BeautifulSoup
# import urllib.request as ur
import re
import json
from collections import OrderedDict

# Open output file for writing
outfile = open(r"table_data.csv","w")

# HTML string
# html = ur.urlopen('url')
html = """
<div class="block">
<div class="block-content">
<div class="players" data-countinpage="10" data-pagination="true" id="league-players"></div>
<script>
        var playersData = JSON.parse('\x5B\x7B\x22id\x22\x3A\x221250\x22,\x22player_name\x22\x3A\x22Mohamed\x20Salah\x22,\x22games\x22\x3A\x2235\x22,\x22time\x22\x3A\x222869\x22\x7D\x5D');
</script> </div>
</div>
"""

# Extract json string
tree = BeautifulSoup(html,"html.parser")
data = tree.find_all("script")[0].string
pattern = re.compile('var playersData = JSON.parse\(\'(.*)\'\);')
match = pattern.search(data)
json_obj = json.loads(match.group(1), object_pairs_hook=OrderedDict)

# Write header
keys = '"' + '","'.join(json_obj[0].keys()) + '"' + "\n"
outfile.write(keys)

# Write data  
for element in json_obj:
    values = '"' + '","'.join(element.values()) + '"' + "\n"
    outfile.write(values)

Этот код извлекает данные из тега script и анализирует строку json. Сначала он выводит заголовок в файл CSV. Затем он выводит каждую запись в отдельный ряд в файл CSV.

Когда программа запускается, файл csv будет иметь такой вывод:

"id","player_name","games","time"
"1250","Mohamed Salah","35","2869"

Примечание. Приведенный выше код был протестирован с использованием Python версии 2.7.10.