Смешивание наборов данных в заданном соотношении - PullRequest
Новая
       12

Смешивание наборов данных в заданном соотношении

0 голосов
/ 11 апреля 2019

В наборе данных tennslfow, как мне смешать 2 набора данных, взяв 75% набора из моих исходных данных и 25% из дополненных данных? 

d = tf.data.Dataset.list_files("raw_data/")\
    .flat_map(tf.data.TFRecordDataset)
ad = tf.data.Dataset.list_files("augmented_data/")\
    .flat_map(tf.data.TFRecordDataset)

1 Ответ

1 голос
/ 11 апреля 2019

Проблема в том, что вы не можете использовать len() для объекта набора данных, поэтому иногда трудно узнать точное количество примеров, пока вы не выполните итерацию полной эпохи. Но вы можете аппроксимировать это методами take и skip. 

train_dataset = dataset.take(number_examples_for_train)
test_dataset = dataset.skip(number_examples_for_train)

Эти методы являются прямой альтернативой друг другу. https://www.tensorflow.org/api_docs/python/tf/data/Dataset#take

...