Доступ к одному куску в Зарре

Question

Zarr сохраняет массив на диске в виде чанков, каждый чанк представляет собой отдельный файл.Есть ли способ получить доступ только к одному выбранному чанку (файлу)?

Можно ли определить, какие чанки пусты без загрузки всего массива в память?

Answer 1

Можно увидеть, какие куски заполнены, взглянув на метод keys базового chunk_store.Будут заполнены только ключи с данными.

Соответствующие значения этих ключей будут содержать данные этого блока, но они будут сжаты.Если вы хотите большего, побуждайте вас поднять вопрос в репо Zarr.

Answer 2

Я не знаю ни одного способа найти размер куска, кроме как поразить FS самостоятельно.Зарр тезисы по этому поводу.Возможно, вам придется объяснить, чем вы занимаетесь.

В проекте, над которым я сейчас работаю, Zarr хранит метеорологические данные.Мы храним данные в трехмерном массиве формы (t, x, y).Наряду с данными у нас есть массив формы (t), по сути, битовая маска для записи, какие слоты заполнены.Поэтому, когда поступают данные, мы пишем

data[t] = [...]
ready[t] = 1

Итак, при запросе данных мы знаем, в какие временные интервалы следует ожидать данные, а какие пустые.