Преобразование набора данных Cifar10 в формат RecordIO для Amazon SageMaker - PullRequest
0 голосов
/ 13 февраля 2019

Я скачал набор данных cifar-10 и мне нужно преобразовать его в формат RecordIO.Если вы распакуете загруженный набор данных cifar-10-python.tar.gz, вы увидите ниже

cifar-10-batches-py/
cifar-10-batches-py/data_batch_4
cifar-10-batches-py/readme.html
cifar-10-batches-py/test_batch
cifar-10-batches-py/data_batch_3
cifar-10-batches-py/batches.meta
cifar-10-batches-py/data_batch_2
cifar-10-batches-py/data_batch_5
cifar-10-batches-py/data_batch_1

Теперь я хочу отделить набор data_batch_*.bin для обучения и набор test_batch.bin для тестирования и преобразовать в recordIOформат.

После этого урока ссылка , но не уверен, как на самом деле работает im2rec.

Пожалуйста, предложите.

1 Ответ

0 голосов
/ 14 февраля 2019

Вот как вы используете im2rec: https://mxnet.incubator.apache.org/versions/master/faq/recordio.html

Или вы можете загрузить CIFAR-10 в формате RecordIO напрямую:

wget http://data.mxnet.io/data/cifar10/cifar10_val.rec
wget http://data.mxnet.io/data/cifar10/cifar10_train.rec
...