пытается извлечь данные и хочет сохранить в Excel, но получает ошибку с помощью Python Beautifulsoup

Question

пытается извлечь, но последнее в последнем поле, получая ошибку, хочет сохранить все поля в Excel.

Я пытался использовать Beautifulsoup для извлечения, но не удается перехватить, получая значение ниже ошибки

Traceback (последний вызов был последним):

Файл "C: /Users/acer/AppData/Local/Programs/Python/Python37/agri.py", строка 30, в

образца = суп2.find ('h3', класс _ = 'trigger

extended'). find_next_sibling ('div', class _ = 'collapsefaq-content'). text

AttributeError: объект 'NoneType' не имеетАтрибут 'find_next_sibling'

from bs4 import BeautifulSoup
import requests

page1 = requests.get('http://www.agriculture.gov.au/pests-diseases-weeds/plant#identify-pests-diseases')

soup1 = BeautifulSoup(page1.text,'lxml')

for lis in soup1.find_all('li',class_='flex-item'):
    diseases = lis.find('img').next_sibling
    print("Diseases: " + diseases)
    image_link = lis.find('img')['src']
    print("Image_Link:http://www.agriculture.gov.au" + image_link)
    links = lis.find('a')['href']
    if links.startswith("http://"):
        link = links
    else:
        link = "http://www.agriculture.gov.au" + links
    page2 = requests.get(link)
    soup2 = BeautifulSoup(page2.text,'lxml')

    try:
        origin = soup2.find('strong',string='Origin: ').next_sibling
        print("Origin: " + origin)
    except:
        pass
    try:
        imported = soup2.find('strong',string='Pathways: ').next_sibling
        print("Imported: " + imported)
    except:
        pass 
    specimens = soup2.find('h3',class_='trigger expanded').find_next_sibling('div',class_='collapsefaq-content').text
    print("Specimens: " + specimens)

хочет вычеркнуть это последнее поле и сохранить все поля в таблицу Excel с помощью python, помогите мне, плз.

Answer 1

Незначительная опечатка:

   data2,append("Image_Link:http://www.agriculture.gov.au" + image_link)

Должно быть:

   data2.append("Image_Link:http://www.agriculture.gov.au" + image_link) #period instead of a comma

Answer 2

Кажется, требуется, чтобы заголовки не блокировались, а также нет раздела образцов для каждой страницы. Ниже показана возможная обработка каждой страницы для информации об образце

from bs4 import BeautifulSoup
import requests
import pandas as pd

base = 'http://www.agriculture.gov.au'
headers = {'User-Agent' : 'Mozilla/5.0'}
specimens = []
with requests.Session() as s:
    r = s.get('http://www.agriculture.gov.au/pests-diseases-weeds/plant#identify-pests-diseases', headers = headers)
    soup = BeautifulSoup(r.content, 'lxml')
    names, images, links = zip(*[ ( item.text.strip(), base + item.select_one('img')['src'] , item['href'] if 'http' in item['href'] else base + item['href']) for item in soup.select('.flex-item > a') ])
    for link in links:
        r = s.get(link)
        soup = BeautifulSoup(r.content, 'lxml')
        if soup.select_one('.trigger'): # could also use if soup.select_one('.trigger:nth-of-type(3) + div'):
            info = soup.select_one('.trigger:nth-of-type(3) + div').text
        else:
            info = 'None'
        specimens.append(info)

df = pd.DataFrame([names, images, links, specimens])
df = df.transpose()
df.columns  = ['names', 'image_link', 'link', 'specimen']
df.to_csv(r"C:\Users\User\Desktop\Data.csv", sep=',', encoding='utf-8-sig',index = False ) 

---

Я запускал вышеописанное много раз без проблем, однако вы всегда можете переключить мой текущий тест на блок try except.

from bs4 import BeautifulSoup
import requests
import pandas as pd

base = 'http://www.agriculture.gov.au'
headers = {'User-Agent' : 'Mozilla/5.0'}
specimens = []
with requests.Session() as s:
    r = s.get('http://www.agriculture.gov.au/pests-diseases-weeds/plant#identify-pests-diseases', headers = headers)
    soup = BeautifulSoup(r.content, 'lxml')
    names, images, links = zip(*[ ( item.text.strip(), base + item.select_one('img')['src'] , item['href'] if 'http' in item['href'] else base + item['href']) for item in soup.select('.flex-item > a') ])
    for link in links:
        r = s.get(link)
        soup = BeautifulSoup(r.content, 'lxml')
        try:
            info = soup.select_one('.trigger:nth-of-type(3) + div').text
        except:
            info = 'None'
            print(link)
        specimens.append(info)

df = pd.DataFrame([names, images, links, specimens])
df = df.transpose()
df.columns  = ['names', 'image_link', 'link', 'specimen']

---

Пример вывода в формате csv: