Быстрый способ чтения одного файла в каталоге, содержащем сотни тысяч файлов с Python - PullRequest
0 голосов
/ 19 апреля 2020

Мне нужно непрерывно читать отдельные файлы .h5 из каталога, содержащего файлы размером 200 КБ.

Это кажется достаточно быстрым для каталога с файлами размером 50 КБ, но внезапно, когда размер файла превышает 100 КБ, он кажется очень медленным ...

Есть идеи, почему и как решить?

Я прочитал:

h5_file = myDir+fileName
with h5py.File(h5_file, 'r') as db:
    X = db['X'][()]
    Y = db['Y'][()]
...