Instagram Скребок работает медленно

Question

Может ли кто-нибудь помочь мне, как ускорить этот процесс очистки, получая все имена пользователей от «собак» в Instagram. Моя цель - сделать это как можно быстрее, потому что в настоящее время процесс довольно медленный. Может быть, используя многопоточность?

from instaloader import Instaloader

HASHTAG = 'dogs'

loader = Instaloader(sleep=False)

users = []
for post in loader.get_hashtag_posts(HASHTAG):
    if post.owner_username not in users:
        users.append(post.owner_username) 
    print(post.owner_username)

Answer 1

1) Удалить оператор печати. Это узкое место. Когда вы печатаете что-то в терминал, терминалу нужно замедлить процесс, иначе это будет выглядеть так, как будто оно сокращается. 2) Вместо этого используйте set, чтобы вам не приходилось проверять, существует ли post.username

users = set()
for post in loader.get_hashtag_posts(HASHTAG):
    users.add(post.owner_username) 

Answer 2

Используйте набор вместо списка - для этого он значительно быстрее.