Я создаю приложение на python 3, которое требует загрузки целой пачки * .java-файлов с raw.githubusercontent.com.По сути, я использую API GitHub v3 для получения всех путей, заканчивающихся на «.java» в данном репозитории, а затем загружаю их через raw.githubusercontent.com.Проблема в том, что это действительно медленно (<10 кБ / с).Теперь иногда он запускается с приличной скоростью (40-50 кБ / с), но затем он обычно падает довольно быстро. </p>
Я пытался сохранить постоянное соединение, используя запросы.Я также попытался использовать токен авторизации, который кто-то предложил.И то, и другое не дало улучшения.
Вот так выглядит мой код:
with requests.Session() as s:
path_index = ""
for path in paths.splitlines():
file_url = githubusercontent_prefix + path
filename = path.split("/")[-1]
res = s.get(file_url, stream=True, allow_redirects=True)
outf = open("sources/" + filename, 'w')
outf.write(res.text)
outf.close()