Как открыть и выбрать подмножество изображений из файла .rec в python? - PullRequest
Новая
       62

Как открыть и выбрать подмножество изображений из файла .rec в python?

0 голосов
/ 11 октября 2019

У меня есть папка, содержащая следующие файлы: train.idx, train.rec, property, lfw.bin, cfp_fp.bin, ageb_30.bin

В этой папке содержатся изображения лиц.

Я уже использовал ImageRecordIter в следующем коде.

Однако каждый раз, когда я печатаю первый элемент train_data, я получаю другое изображение. 

train_data = ImageRecordIter(
    path_imgrec = os.path.join(rec_path,'train.rec'),
    path_imgidx = os.path.join(rec_path, 'train.idx'),
    label_width = 2,

    data_shape  = (3,112,112 ),
    batch_size  = 10,
    shuffle     = False)

Мои вопросы:

1) Я не знаю, как данные обычно хранятся в файлах такого типа, например, в каком из них содержатся метки. Есть идеи об этих типах файлов?

2) Как мне извлечь подмножество данных для создания файла примера? Кроме того, какой будет формат файла (например, Pickle-файл, TXT-файл)?

1 Ответ

0 голосов
/ 01 ноября 2019

Вы используете train.rec и train.idx в ImageRecordIter, поэтому они являются единственными используемыми файлами. Ваши ярлыки будут храниться (вместе с данными) в файле train.rec. Вы можете использовать MXIndexedRecordIO для извлечения случайных выборок из этих файлов. Что-то вроде: 

samples = []
record = mx.recordio.MXIndexedRecordIO('tmp.idx', 'tmp.rec', 'r')
for i in range(5):
    samples.append(record.read_idx(i))

record = mx.recordio.MXIndexedRecordIO('tmp.idx', 'tmp.rec', 'w')
for i, sample in enumerate(samples):
    record.write_idx(i, sample)
record.close()
...