Разница во времени Beautifulsoup - PullRequest
Новая
       22

Разница во времени Beautifulsoup

0 голосов
/ 20 января 2020

Я занимаюсь веб-копированием URL-адресов на определенном сайте с использованием grequests и beautifulsoup4. Время работы программы составляет 25 секунд. Когда я попытался найти причину этого, я обнаружил странным, что этот результат l oop имеет два разных результата во времени. 

import time
import bs4 as bs
import grequests


rs = (grequests.post(u, data = payload) for u in urls)
requests = grequests.imap(rs)

t1 = time.perf_counter()

infoPages = []
for response in requests:
    t3 = time.perf_counter()
    infoPages.append(bs.BeautifulSoup(response.text,'lxml'))
    t4 = time.perf_counter()
    print(t4-t3)

t2 = time.perf_counter()
print(t2-t1)

Вывод следующий: 

0.07943480000000003
0.07001459999999993
0.075399
0.07141719999999996
0.07378570000000018
0.06506450000000008
0.0753301000000004
0.054058200000000056
0.06016950000000065
0.0716176000000015
0.04789030000000061
0.07726519999999937
0.06198320000000024
0.05211830000000006
0.04859970000000047
0.10367259999999945
0.08496710000000007
0.045592300000002695
0.0656680999999999
0.056729100000001864
0.10122460000000189
0.05465159999999969
0.13292039999999972
0.06879819999999981
0.07439620000000247
24.9492973

Почему сумма отдельных времен равна 1,7727681 вместо 24,9492973?

...