Я хотел бы сэкономить на своем диске огромное количество (миллионы) маленьких матовых матриц (shape = (224, 224, 1), dtype = np.float32).
Я хотел бы иметь эффективный доступ и какое-то прозрачное сжатие.
Одно из решений, которое мне подходит, - это файлы hadoop (и библиотека h5py). Есть только один недостаток: я хотел бы иметь многопоточный доступ. Я хотел бы писать в файлы из нескольких потоков. Я хотел бы заботиться о конфликтах в письменном виде самостоятельно.
Есть ли какие-либо предлагаемые технологии / базы данных, которые мне следует использовать?