Загрузка останавливается после 1 или 2 ГБ - PullRequest
0 голосов
/ 06 июня 2019

Я пытаюсь загрузить этот набор данных CSV https://public.opendatasoft.com/explore/dataset/sirene_v3

Я пробовал с Wifi и Ethernet 13Mb down connection, что делает то же самое: оно останавливается на 1 или 2 ГБ. Я также пытался использовать Python для DL прямо на сервере (через платформу Zoe), но он тоже останавливается, я также пробовал загрузку по частям, но не более того.

Я пытался:

urllib.request.urlretrieve(url, 'csv.csv')

Также попробовал это:

 response = requests.get(url, stream=True)
 handle = open(target_path, "wb")
 for chunk in response.iter_content(chunk_size=512):
     if chunk:
         handle.write(chunk)

Использование запросов и чанкинг

Нет ошибки, загрузка останавливается, как будто она закончена

1 Ответ

0 голосов
/ 06 июня 2019

Если у вас есть linux, вы можете попробовать загрузить набор данных через wget

использование: wget url

или для этого набора данных csv: wget https://public.opendatasoft.com/explore/dataset/sirene_v3/download/?format=csv&timezone=Europe/Paris&use_labels_for_header=true

Еслисоединение прерывается, вы можете возобновить его с помощью wget -c url

source: https://www.garron.me/en/bits/wget-resume-continue-broken-download.html

...