Как исправить «Неверный аргумент: Ключ: функция. Не удается разобрать сериализованный пример.»

Question

Я пытаюсь использовать TFRecordDataset для загрузки моих данных, однако я застрял в этой ошибке и много искал, но все еще не могу ее исправить.

Моя версия TensorFlow - 1.14.0.

Запись в tfrecords:

raw_data = pd.read_csv(data_file, header=None, delim_whitespace=True)
data_x = raw_data.iloc[:, 1:-4].values
data_y = raw_data.iloc[:, -3:].values
writer = tf.io.TFRecordWriter('test.tfrecord')
for i in range(100):
    example = tf.train.Example(features=tf.train.Features(
        feature={
            'feature': tf.train.Feature(float_list=tf.train.FloatList(value=data_x[i])),
            'target': tf.train.Feature(float_list=tf.train.FloatList(value=data_y[i]))
        }))
    writer.write(example.SerializeToString())

, где форма data_x (n, 736) и форма data_y (n, 3).

Анализ tfrecords:

def parse_function(record):
    features = {
        'feature': tf.FixedLenFeature([736], dtype=tf.float32),
        'target': tf.FixedLenFeature([3], dtype=tf.float32)
    }
    example = tf.io.parse_single_example(record, features)
    return example['feature'], example['target']

Затем прочитайте данные из tfrecords:

dataset = tf.data.TFRecordDataset('test.tfrecord')
dataset = dataset.shuffle(BUFFER_SIZE)
dataset = dataset.map(parse_function)
dataset = dataset.batch(BATCH_SIZE)
dataset = dataset.prefetch(BUFFER_SIZE)

Таким же образом создайте набор test_dataset. Затем соберите и скомпилируйте модель:

model = keras.Sequential([
        keras.layers.Dense(400, activation=tf.nn.tanh),
        keras.layers.Dense(400, activation=tf.nn.tanh),
        keras.layers.Dense(400, activation=tf.nn.tanh),
        keras.layers.Dense(3)
    ])
#     print(model.summary())
optim = tf.train.AdamOptimizer(learning_rate=LEARNING_RATE)
model.compile(optimizer=optim,
                  loss=rmse_and_norm_mae,
                  metrics=[rmse_and_norm_mae])

Наконец, обучите модель и вызовите ошибку:

cp_callback = keras.callbacks.ModelCheckpoint(save_weights_path, verbose=0, save_weights_only=True,save_freq=SAVE_PERIOD)
model.fit(dataset, epochs=EPOCHS,steps_per_epoch=10, validation_data=test_dataset,validation_steps=10, callbacks=[cp_callback], verbose=2)

Ошибка:

InvalidArgumentError: 2 root error(s) found.
  (0) Invalid argument: Key: feature.  Can't parse serialized Example.
     [[{{node ParseSingleExample/ParseSingleExample}}]]
     [[IteratorGetNext_64]]
     [[training_32/gradients/loss_16/dense_139_loss/Sum_grad/Shape/_2055]]
  (1) Invalid argument: Key: feature.  Can't parse serialized Example.
     [[{{node ParseSingleExample/ParseSingleExample}}]]
     [[IteratorGetNext_64]]
0 successful operations.
0 derived errors ignored.

Как мне сделатьэто работает? Заранее большое спасибо за помощь!

Answer 1

Проблема в том, что вы создаете данные. Ваш data_x имеет форму (100, 734), а не (100, 736). При запуске этой строки вы исключаете первый и 736-й столбцы:

data_x = raw_data.iloc[:, 1:-4].values

Если это желаемый способ избавиться от этих двух столбцов, вам нужно будет указать размер 734 в tf.FixedLenFeature как показано:

'feature': tf.FixedLenFeature([734], dtype=tf.float32),