Загрузка выделенного GFS-ансамбля данных openDAP в память (Python) - PullRequest
Новая
       46

Загрузка выделенного GFS-ансамбля данных openDAP в память (Python)

0 голосов
/ 19 сентября 2018

Я хочу загрузить выборку из данных GFS-ансамбля с сервера OpenDAP через netCDF и xarray.Однако при попытке загрузить вложенный выбор в память через некоторое время происходит сбой программы, возвращая RuntimeError (netCDF: ошибка ввода-вывода).

Количество точек данных, которое я хочу получить, составляет 13650, поэтому размер данных должен легко обрабатываться в Python.

Как ни странно, я не испытываю этой проблемы при загрузке GFS-данных илиNCEP-Данные реанализа.Это заставляет меня поверить, что проблема может быть связана с количеством измерений данных, поскольку данные ансамбля имеют 5 измерений, а данные повторного анализа и эксплуатации (GFS) имеют только 4 измерения.

Я также пытался загрузить данные только при использовании модуля netCDF4, но это привело к той же ошибке.Таким образом, я не думаю, что проблема связана с xarray.

Вот код, необходимый для загрузки данных: 

from netCDF4 import Dataset
import numpy as np
import pandas as pd
import xarray as xr
import time as tm

# Set time to download data from (this is always the 00UTC run of the present day)
time_year = str(tm.localtime()[0])
time_month = str(tm.localtime()[1])
time_day = str(tm.localtime()[2])

if len(time_month)== 1:
    time_month = '0' + time_month
datestr = time_year + time_month + time_day
print('The run chosen is the 00 UTC run of ' + time_day + '-' + time_month + '-' + time_year)

# Define server information
serverstring='http://nomads.ncep.noaa.gov:9090/dods/gens_bc/gens' + datestr + '/gep_all_00z'
print(serverstring)

# Load data 
dataset = xr.open_dataset(serverstring)
time = dataset.variables['time']  
lat = dataset.variables['lat'][:]
lon = dataset.variables['lon'][:]
lev = dataset.variables['lev'][:]
ens = dataset.variables['ens'][:]

# Select user settings to plot (in this case all timesteps for all (20) members for a box around the Netherlands near the surface)
time_toplot = time  # select all available timesteps
lat_toplot = np.arange(50, 55, 0.5)
lon_toplot = np.arange(2, 8, 0.5)
lev_toplot = np.array([1000])
ens_toplot = ens  # select all available ensemble members

# Select required data via xarray
dataset = dataset.sel(ens=ens_toplot, time=time_toplot, lev=lev_toplot, lon=lon_toplot, lat=lat_toplot)

# Loading the data into memory finally results in the error
u = dataset.variables["ugrdprs"].values

Спасибо!

...