Dask читать все hdf файлы через subdirs - PullRequest
0 голосов
/ 04 декабря 2018

У меня есть файловая структура, которая выглядит следующим образом:

\parentdir
 -\subdirs
   -\hdf_file.hdf

, где подкаталоги исчисляются тысячами, но hdf_file.hdf имеет одинаковое имя в каждом подкаталоге.Проблема в том, что не у каждого подкаталога есть hdf_file.hdf.Я попытался прочитать их все с помощью dask следующим образом:

all_data=dd.read_hdf('/path/to/parentdir/*/hdf_file.hdf','/data')

, который работает до первой папки, в которой нет файла hdf_file.hdf.Как я могу обойти эту проблему?

...