Twython - Как я могу ускорить получение подписчиков пользователя? - PullRequest
Новая
       19

Twython - Как я могу ускорить получение подписчиков пользователя?

0 голосов
/ 15 февраля 2019

Я пытаюсь получить список подписчиков действительно большого твиттера, использующих Twython.У меня есть код, который будет делать это, но я должен вставить паузы, чтобы избежать ограничений скорости API.Я обнаружил, что на максимальной скорости, которая позволяет избежать ограничений по скорости, мой код займет более 20 дней непрерывной работы, чтобы просмотреть все учетные записи.Вот соответствующий код: 

twitter = Twython(consumer_key, consumer_secret, access_token, 
           access_token_secret)
account_followers = twitter.cursor(twitter.get_followers_list ,screen_name = 
                                   "example")
BATCH_SIZE = 300
batch_left = BATCH_SIZE
count = 0

for follower in account_followers:
    batch_left -= 1
    count += 1
    print(count)
    if batch_left == 0:
        batch_left = BATCH_SIZE
        print("sleeping now")
        time.sleep(90)

Остальная часть кода представляет собой лишь некоторую обработку моих результатов, которая не делает никаких дополнительных запросов к API Twitter.

Кто-нибудь знает оспособ сделать такой процесс быстрее?
Извиняюсь, если ответ очень прост, у меня ограниченный опыт кодирования!

...