Я пытаюсь освоить dask, чтобы иметь возможность выполнять некоторые вычисления для 18-летнего набора данных NetCDF, который содержит 1464 файла для каждого года, и каждый файл имеет размер 1 МБ.Вместо этого я могу сделать это в цикле, но я хочу протестировать встроенные функции dask с помощью xarray и посмотреть, быстрее ли он и эффективнее ли память, чем обычные операторы климатических данных.Итак, я только тестирую его, загружая файлы всего за один год, и это дает мне «ошибку слишком большого количества файлов»
big_ds = xr.open_mfdataset('path_to_folder/*')
Я уже изменил лимит открытых файлов.
ulimit -a
>>core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 62527
max locked memory (kbytes, -l) 16384
max memory size (kbytes, -m) unlimited
open files (-n) 8000
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 8192
cpu time (seconds, -t) unlimited
max user processes (-u) 62527
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited