Как использовать «содержимое» для очистки значения, которое я хочу? - PullRequest
Новая
       40

Как использовать «содержимое» для очистки значения, которое я хочу?

1 голос
/ 18 июня 2019

Я перехожу по этой ссылке , чтобы почистить данные с сайта

Я хочу почистить имена, URL, годы и национальность, а когда я попробовал с нижекод 

import requests
import csv
from bs4 import BeautifulSoup
import bs4


f = csv.writer(open('z_artist_names_assignment.csv', 'w'))
f.writerow(['N'])

pages = []

for i in range(1, 2):
    url = 'https://web.archive.org/web/20121007172955/https://www.nga.gov/collection/anZ' + str(i) + '.htm'
    pages.append(url)



for item in pages:
    page = requests.get(item,timeout=10)
    soup = BeautifulSoup(page.text, 'html.parser')

    last_links = soup.find(class_='AlphaNav')
    last_links.decompose()

    artist_name_list = soup.find(class_='BodyText')
    artist_name_list_items = artist_name_list.find_all('a')

    nationality_list = soup.find(class_='BodyText')
    nationality_list_items = nationality_list.find_all('td')

    for artist_name in artist_name_list_items:
        names = artist_name.contents[0]
        links = 'https://web.archive.org' + artist_name.get('href')

    for nationality in nationality_list_items:
        nationality = nationality.contents[0]
        print(nationality)

print (национальность) вернул не только содержимое, но также имена и вкладки, такие как 

<a href="/web/20121007172955/https://www.nga.gov/cgi-bin/tsearch?artistid=11630">Zabaglia, Niccola</a>
Italian, 1664 - 1750
<a href="/web/20121007172955/https://www.nga.gov/cgi-bin/tsearch?artistid=34202">Zaccone, Fabian</a>
American, 1910 - 1992
<a href="/web/20121007172955/https://www.nga.gov/cgi-bin/tsearch?artistid=3475">Zadkine, Ossip</a>
French, 1890 - 1967

Я просто хочу, чтобы «итальянский, 1664 - 1750» или «итальянский» или «1664 - 1750 гг.Как я могу использовать метод содержимого, чтобы получить эти значения?

это HTML 

<tr valign="top"><td><a href="/web/20121007172955/http://www.nga.gov/cgi-bin/tsearch?artistid=3452">Zalce, Alfredo</a></td><td>Mexican, born 1908</td></tr>

1 Ответ

0 голосов
/ 18 июня 2019

Я думаю, что лучше найти все элементы "tr", которые содержат информацию об исполнителе, а не "td".

Ниже приведен пример.Надеюсь, это поможет! 

entries = soup.find_all("tr", {"valign" : "top"})


links = ['https://web.archive.org{}'.format(entry.contents[0].a['href']) for entry in entries]
names = [entry.contents[0].text for entry in entries]
nationalities = [entry.contents[1] for entry in entries]
...