Я хотел бы почистить полный текст с этого сайта: https://www.ecb.europa.eu/press/pressconf/2016/html/is161020.en.html. То есть от "Дамы и господа, ..." до конца "... Таким образом, вы можете видеть, что на самом деле спрэд между кредитами МСП и кредитами крупным корпорациям значительно сократился."
Однако мой код очищается только до «Теперь мы в вашем распоряжении для вопросов» (середина текста). Я очень благодарен, если вы поможете мне решить эту проблему.
Вот код:
from bs4 import BeautifulSoup
import urllib
import pandas as pd
import ssl
import os
import time
import string
# function loads html source code of given url
ssl._create_default_https_context = ssl._create_unverified_context
user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/11.1.2 Safari/605.1.15'
headers = {'User-Agent':user_agent,}
url = "https://www.ecb.europa.eu/press/pressconf/2016/html/is161020.en.html"
req = urllib.request.Request(url, None, headers)
response = urllib.request.urlopen(req)
html = response.read()
soup = BeautifulSoup(html, 'html.parser')
article = soup.find('article')
paragraphs = article.find_all('p')
print(article)