Как исправить ошибку клиента Newspaper3k 403 для определенных URL? - PullRequest
Новая
       52

Как исправить ошибку клиента Newspaper3k 403 для определенных URL?

0 голосов
/ 20 июня 2019

Я пытаюсь получить список статей, используя набор пакетов Python googlesearch и magazine3k.При использовании article.parse я получаю сообщение об ошибке: magazine.article.ArticleException: статья download() завершилась неудачно с 403 Ошибка клиента: запрещено для URL: https://www.newsweek.com/donald-trump-hillary-clinton-2020-rally-orlando-1444697 на URL https://www.newsweek.com/donald-trump-hillary-clinton-2020-rally-orlando-1444697

Я пытался запустить как администратор при выполнении скрипта, и ссылка работает при открытии прямо в браузере.

Вот мой код: 

import googlesearch
from newspaper import Article

query = "trump"
urlList = []

for j in googlesearch.search_news(query, tld="com", num=500, stop=200, pause=.01):
    urlList.append(j)

print(urlList)

articleList = []

for i in urlList:
    article = Article(i)
    article.download()
    article.html
    article.parse()
    articleList.append(article.text)
    print(article.text)

Вот мой полный вывод ошибок: 

Traceback (most recent call last):
  File "C:/Users/andre/PycharmProjects/StockBot/WebCrawlerTest.py", line 31, in <module>
    article.parse()
  File "C:\Users\andre\AppData\Local\Programs\Python\Python37\lib\site-packages\newspaper\article.py", line 191, in parse
    self.throw_if_not_downloaded_verbose()
  File "C:\Users\andre\AppData\Local\Programs\Python\Python37\lib\site-packages\newspaper\article.py", line 532, in throw_if_not_downloaded_verbose
    (self.download_exception_msg, self.url))
newspaper.article.ArticleException: Article `download()` failed with 403 Client Error: Forbidden for url: https://www.newsweek.com/donald-trump-hillary-clinton-2020-rally-orlando-1444697 on URL https://www.newsweek.com/donald-trump-hillary-clinton-2020-rally-orlando-1444697

Я ожидал, что он просто выведет текст статьи.Любая помощь, которую вы можете оказать, была бы великолепна.Спасибо!

1 Ответ

0 голосов
/ 26 июня 2019

Я получил его на работу, изменив пользовательский агент 

from newspaper import Article
from newspaper import Config

user_agent = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
config = Config()
config.browser_user_agent = user_agent
page = Article("https://www.newsweek.com/donald-trump-hillary-clinton-2020-rally-orlando-1444697", config=config)
page.download()
page.parse()
print(page.text)
...