Загрузка файлов raw.githubusercontent.com очень медленная - PullRequest
1 голос
/ 16 мая 2019

Я создаю приложение на python 3, которое требует загрузки целой пачки * .java-файлов с raw.githubusercontent.com.По сути, я использую API GitHub v3 для получения всех путей, заканчивающихся на «.java» в данном репозитории, а затем загружаю их через raw.githubusercontent.com.Проблема в том, что это действительно медленно (<10 кБ / с).Теперь иногда он запускается с приличной скоростью (40-50 кБ / с), но затем он обычно падает довольно быстро. </p>

Я пытался сохранить постоянное соединение, используя запросы.Я также попытался использовать токен авторизации, который кто-то предложил.И то, и другое не дало улучшения.

Вот так выглядит мой код:

with requests.Session() as s:
    path_index = ""
    for path in paths.splitlines():
        file_url = githubusercontent_prefix + path
        filename = path.split("/")[-1]
        res = s.get(file_url, stream=True, allow_redirects=True)
        outf = open("sources/" + filename, 'w')
        outf.write(res.text)
        outf.close()
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...