Получение HTTP-ответа 400 при использовании PRAW для очистки Reddit - PullRequest
Новая
       16

Получение HTTP-ответа 400 при использовании PRAW для очистки Reddit

0 голосов
/ 21 декабря 2018

Я пытаюсь очистить Reddit с помощью PRAW, и он продолжает выдавать ошибку prawcore.exceptions.BadRequest: received 400 HTTP response.

Мне удалось создать целый функциональный конвейер во время экспериментов на ноутбуке Jupyter без каких-либо проблем при получении данных из Reddit.Эта проблема возникает только после того, как я пытаюсь запустить свой код в виде скрипта с использованием терминалаСначала я решил, что проблема связана с различными версиями Python в ноутбуках (v3.6.5) и в моей виртуальной среде (v3.7.1).Тем не менее, ошибка сохраняется, даже когда я переключаю свою среду на 3.6.5.

У меня нет проблем с созданием объектов Reddit, Subreddit объектов, Submission объектов и Comment объектов, когда япроверить их выходные данные, используя вложенные циклы for.В случае моего конвейера данных у меня есть набор функций, которые вызывают друг друга в похожем шаблоне.Тем не менее, он продолжает иметь проблемы с генераторами, хотя способ, которым я вызываю мои функции, структурно аналогичен наличию вложенных циклов.

Вот вывод терминала: 

Traceback (most recent call last):
  File "run_reddit_scraper.py", line 295, in <module>
    reddit_id = process_reddit(reddit, SUBREDDIT_NAMES)
  File "run_reddit_scraper.py", line 200, in process_reddit
    subreddits_pk, subreddit_count = process_subreddits(reddit, subreddit_names)
  File "run_reddit_scraper.py", line 165, in process_subreddits
    submissions_pk, submission_count = process_submissions(subreddit)
  File "run_reddit_scraper.py", line 119, in process_submissions
    for submission in top_submissions:
  File "/Users/nicktheodore/reddit-scraper/env/lib/python3.6/site-packages/praw/models/listing/generator.py", line 52, in __next__
    self._next_batch()
  File "/Users/nicktheodore/reddit-scraper/env/lib/python3.6/site-packages/praw/models/listing/generator.py", line 62, in _next_batch
    self._listing = self._reddit.get(self.url, params=self.params)
  File "/Users/nicktheodore/reddit-scraper/env/lib/python3.6/site-packages/praw/reddit.py", line 391, in get
    data = self.request('GET', path, params=params)
  File "/Users/nicktheodore/reddit-scraper/env/lib/python3.6/site-packages/praw/reddit.py", line 506, in request
    params=params)
  File "/Users/nicktheodore/reddit-scraper/env/lib/python3.6/site-packages/prawcore/sessions.py", line 185, in request
    params=params, url=url)
  File "/Users/nicktheodore/reddit-scraper/env/lib/python3.6/site-packages/prawcore/sessions.py", line 130, in _request_with_retries
    raise self.STATUS_EXCEPTIONS[response.status_code](response)
prawcore.exceptions.BadRequest: received 400 HTTP response

Iпонятия не имею, что происходит на данный момент, и я полностью заблокирован из-за этого.Любая обратная связь очень ценится!

...