Как использовать библиотеку Newspaper3k без скачивания статей? - PullRequest
Новая
       15

Как использовать библиотеку Newspaper3k без скачивания статей?

1 голос
/ 20 июня 2019

Предположим, у меня есть местные копии новостных статей. Как я могу запустить газету на эти статьи? Согласно документации, обычное использование газетной библиотеки выглядит примерно так: 

from newspaper import Article

url = 'http://fox13now.com/2013/12/30/new-year-new-laws-obamacare-pot-guns-and-drones/'
article.download()
article = Article(url)
article.parse()
# ...

В моем случае мне не нужно загружать статью с веб-страницы, потому что у меня уже есть локальная копия страницы. Как я могу использовать газету на локальной копии веб-страницы?

1 Ответ

1 голос
/ 20 июня 2019

Вы можете, это просто немного глупо.В качестве примера 

import requests
from newspaper import Article

url = 'https://www.cnn.com/2019/06/19/india/chennai-water-crisis-intl-hnk/index.html'

# get sample html
r = requests.get(url)

# save to file
with open('file.html', 'wb') as fh:
    fh.write(r.content)

a = Article(url)

# set html manually
with open("file.html", 'rb') as fh:
    a.html = fh.read()

# need to set download_state to 2 for this to work
a.download_state = 2

a.parse()

# Now the article should be populated
a.text

# 'New Delhi (CNN) The floor...'

Где download_state берется из фрагмента в newspaper.article.py: 

# /path/to/site-packages/newspaper/article.py
class ArticleDownloadState(object):
    NOT_STARTED = 0
    FAILED_RESPONSE = 1
    SUCCESS = 2

~snip~

# This is why you need to set that variable
class Article:
    def __init__(...):
        ~snip~
         # Keep state for downloads and parsing
        self.is_parsed = False
        self.download_state = ArticleDownloadState.NOT_STARTED
        self.download_exception_msg = None

    def parse(self):
        # will throw exception if download_state isn't 2
        self.throw_if_not_downloaded_verbose()

        self.doc = self.config.get_parser().fromstring(self.html)

В качестве альтернативы, вы можете переопределить класс, чтобы он действовал так же, какparse функция: 

from newspaper import Article
import io

class localArticle(Article):
    def __init__(self, url, **kwargs):
        # set url to be an empty string in __init__ if it's a file handle
        super().__init__(url if isinstance(url, str) else '', **kwargs)
        # set standalone _url attr so that parse will work as expected
        self._url = url

    def parse(self):

        # sets html and things for you
        if isinstance(self._url, str):
            with open(self._url, 'rb') as fh:
                self.html = fh.read()

        elif isinstance(self._url, io.TextIOWrapper) or isinstance(self._url, io.BufferedReader):
            self.html = self._url.read()

        else:
            raise TypeError(f"Expected file path or file-like object, got {self._url.__class__}")

        self.download_state = 2
        # now parse will continue on with the proper params set
        super(localArticle, self).parse()


a = localArticle('file.html') # pass your file name here
a.parse()

a.text[:10]
# 'New Delhi '

# or you can give it a file handle
with open("file.html", 'rb') as fh:
    a = localArticle(fh)
    a.parse()

a.text[:10]
# 'New Delhi '
...