BeautifulSoup занимает слишком много времени, чтобы разобрать страницу - PullRequest
0 голосов
/ 23 июня 2019

Я пытался проанализировать страницу Мой список аниме , чтобы получить поле "ID", которое мне позже понадобится для вызова API. Функция prepare_soup занимает слишком много времени (более 2 минут), что является проблемой. Как я могу ускорить этот процесс?

def prepare_soup():
    print("Fetching the pre requisites")
    anime_list_path = "https://myanimelist.net/info.php?search=%25%25%25&go=relationids&divname=relationGen1"
    anime_page = urllib.request.urlopen(anime_list_path)
    print("Preparing the soup. This may take a while")
    soup = BeautifulSoup(anime_page,"lxml")
    print("All done")
    return soup
...