Я использую Tweepy Twitter API и Python для получения довольно большого количества твитов (~ 40 000), используя этот код:
def getTweets(query, num):
#gets the specified number of tweets
_max_queries = 100
tweets = tweet_batch = api.search(q=query, count=num, tweet_mode='extended')
ct = 1
while len(tweets) < num and ct < _max_queries:
print("Got %d tweets!" % (len(tweets)))
tweet_batch = api.search(q=query, count=num-len(tweets), max_id=tweet_batch.max_id, tweet_mode='extended')
tweets.extend(tweet_batch)
ct += 1
return tweets
У меня для api wait_on_rate_limit установлено значение true.Сразу после вызова функции getTweets () я пытаюсь обработать твиты.Единственная проблема заключается в том, что Python не ожидает сброса ограничения скорости Tweepy и продолжает выполнять код процесса преждевременно.Например, если я пытаюсь получить 20 000 твитов, Tweepy тянет около 9 000 и немедленно обрабатывает их, не дожидаясь сброса ограничения скорости и извлекая остальные твиты.Есть предложения?