массовое извлечение заголовков из Python3.7 из URL с использованием asyncio и aiohttp

Question

Я хочу получить названия всех сайтов в списке.Это то, что я сейчас использую

https://gist.github.com/PandaWhoCodes/e6a4621d3b09889a98d12e67bb8c4cf9

Это все еще занимает хорошие 5 минут, чтобы работать на 600 URL.Есть ли способ, которым я могу сделать этот процесс еще быстрее?

Answer 1

Вам действительно нужно отлаживать и / или профилировать сетевую часть. Похоже, у вас есть некоторые ограничения для соединений / пропускной способности - возможно, ваш интернет-провайдер или службы ограничивают ваши запросы.

Ваш код полностью в порядке, он заканчивается за считанные секунды. Профилирование показывает, что верхние 3 узла "собственного времени" (наиболее потребляющие сами по себе, без цепочки вызовов) составляют

• epoll select
• zlib декомпресс
• bytes.decode

Это ~ 50% от общего времени выполнения.