TFRecord против RecordIO - PullRequest
       11

TFRecord против RecordIO

0 голосов
/ 09 ноября 2018

TensorFlow Object Detection API предпочитает формат файла TFRecord.MXNet и Amazon Sagemaker, похоже, используют формат RecordIO.Чем эти два формата двоичных файлов отличаются, или это одно и то же?

1 Ответ

0 голосов
/ 09 ноября 2018

RecordIO и TFRecord одинаковы в том смысле, что служат одной и той же цели - объединить данные в одну последовательность для более быстрого чтения, и оба они используют буферы протокола под капотом для лучшего распределения пространства.

Мне кажется, что RecordIO больше похож на общий термин: формат, который используется для хранения огромного куска данных в одном файле для более быстрого чтения. Некоторые продукты используют «RecordIO» в качестве фактического термина, но в Tensorflow они решили использовать для этого специальное слово - TFRecord. Вот почему некоторые люди называют TFRecord как «формат RecordsIO со вкусом TensorFlow».

Нет единого формата RecordIO как есть. Люди из Apache Mesos, которые также называют свой формат RecordIO, говорят : «Поскольку формальной спецификации формата RecordIO не существует, между реализациями RecordIO существует небольшая несовместимость». И их формат RecordIO отличается от того, который использует MXNet - я не вижу «магического числа» в начале каждой записи.

Итак, на уровне структуры TFRecord Tensorflow и RecordIO в MXNet - это разные форматы файлов, например, вы не ожидаете, что MXNet сможет читать TFRecord и наоборот. Но на логическом уровне - они служат одной цели и могут считаться схожими.

...