Как соскрести полную статью с сайта - Python 3.6 - PullRequest
0 голосов
/ 06 ноября 2018

Я хотел бы почистить полный текст с этого сайта: https://www.ecb.europa.eu/press/pressconf/2016/html/is161020.en.html. То есть от "Дамы и господа, ..." до конца "... Таким образом, вы можете видеть, что на самом деле спрэд между кредитами МСП и кредитами крупным корпорациям значительно сократился."

Однако мой код очищается только до «Теперь мы в вашем распоряжении для вопросов» (середина текста). Я очень благодарен, если вы поможете мне решить эту проблему.

Вот код:

    from bs4 import BeautifulSoup
    import urllib
    import pandas as pd
    import ssl
    import os
    import time
    import string



# function loads html source code of given url
    ssl._create_default_https_context = ssl._create_unverified_context
    user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/11.1.2 Safari/605.1.15'
    headers = {'User-Agent':user_agent,}
    url = "https://www.ecb.europa.eu/press/pressconf/2016/html/is161020.en.html"
    req = urllib.request.Request(url, None, headers) 
    response = urllib.request.urlopen(req) 
    html = response.read()
    soup = BeautifulSoup(html, 'html.parser')

    article = soup.find('article')
    paragraphs = article.find_all('p')
    print(article)

1 Ответ

0 голосов
/ 06 ноября 2018

полный текст в параграфах:

import requests
from bs4 import BeautifulSoup
resp = requests.get('https://www.ecb.europa.eu/press/pressconf/2016/html/is161020.en.html')
soup = BeautifulSoup(resp.content, 'html5lib')
article = soup.find('article')
paragraphs = article.find_all('p')
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...