Пакетная загрузка данных из OpenDAP с использованием Python - PullRequest
Новая
       42

Пакетная загрузка данных из OpenDAP с использованием Python

0 голосов
/ 15 ноября 2018

Я пытаюсь загрузить несколько .nc файлов из OpenDAP. Когда я загружаю файлы вручную (без скрипта), они работают как положено. Чтобы попытаться ускорить процесс, у меня есть скрипт для пакетной загрузки данных. Однако, когда я загружаю данные, используя xarray, файлы в 10 раз больше и файлы кажутся поврежденными.

Мой скрипт выглядит так: 

import pandas as pd
import xarray as xr
import os
import numpy as np

dates = pd.date_range(start='2016-01-01',end='2016-01-05',freq='D')
my_url = "http://www.ifremer.fr/opendap/cerdap1/ghrsst/l4/saf/odyssea-nrt/data/"

print("  ")
print("Downloading data from OPeNDAP - sit back, relax, this will take a while...")
print("...")
print("...")

# Create a list of url's 
data_url = []
cnt = 0
for i in np.arange(1,5):
    ii = i+1

    data_url.append(my_url + str(dates[cnt].year)+"/"+ str('%03d'%+ii)+"/"\
        +str(dates[cnt+1].year)+str('%02d'%dates[cnt+1].month)+str('%02d'%dates[cnt+1].day)\
        +"-IFR-L4_GHRSST-SSTfnd-ODYSSEA-SAF_002-v2.0-fv1.0.nc?time[0:1:0],lat[0:1:1749],lon[0:1:2249],analysed_sst[0:1:0][0:1:1749][0:1:2249],analysis_error[0:1:0][0:1:1749][0:1:2249],mask[0:1:0][0:1:1749][0:1:2249],sea_ice_fraction[0:1:0][0:1:1749][0:1:2249]")

    cnt = cnt+1

url_list = data_url

# Download data from the url's
count = 0
for data in url_list:
    print('Downloading file:', str(count))
    ds = xr.open_dataset(data,autoclose=True)
    fname = 'SAFodyssea_sst'+str(dates[count+1].year)+str('%02d'%dates[count+1].month)+str('%02d'%dates[count+1].day)+'.nc'
    ds.to_netcdf(fname)
    count = count +1
    del ds, fname

print('DONE !!!')

У меня xarray версия 0.10.8. Я попытался запустить это с использованием Python 2.7 и Python 3.5.6, а также на Windows 10 и Ubuntu 16.04, и я получил тот же результат.

Ваша помощь очень ценится.

1 Ответ

0 голосов
/ 17 ноября 2018

Каждый из этих файлов в качестве связанного URL для файла netCDF, например, http://www.ifremer.fr/opendap/cerdap1/ghrsst/l4/saf/odyssea-nrt/data/2018/001/20180101-IFR-L4_GHRSST-SSTfnd-ODYSSEA-SAF_002-v2.0-fv1.0.nc

Одним простым способом решения этой проблемы было бы использование библиотеки, такой как запросы на загрузку каждого файла, например, как описано здесь: Как скачать большой файл в python с запросами.py?

...