Как я могу объединить два (или более) набора данных TensorFlow? - PullRequest
Новая
       42

Как я могу объединить два (или более) набора данных TensorFlow?

0 голосов
/ 11 июня 2019

Я получил наборы данных CelebA с 3 разделами следующим образом 

>>> celeba_bldr = tfds.builder('celeb_a')
>>> datasets = celeba_bldr.as_dataset()
>>> datasets.keys()
dict_keys(['test', 'train', 'validation'])

ds_train = datasets['train']
ds_test = datasets['test']
ds_valid = datasets['validation']

Теперь я хочу объединить их все в один набор данных.Например, мне нужно было бы объединить поезд и валидацию вместе, или, возможно, объединить их все вместе, а затем разделить их на основе другого собственного предметно-непересекающегося критерия.Есть ли способ сделать это?

Я не смог найти никакой опции для этого в документации https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/data/Dataset

1 Ответ

1 голос
/ 11 июня 2019

Глядя на документы, которые вы связали, в наборе данных, похоже, есть метод concatenate, поэтому я предполагаю, что вы можете получить объединенный набор данных в виде: 

ds_train = datasets['train']
ds_test = datasets['test']
ds_valid = datasets['validation']

ds = ds_train.concatenate(ds_test).concatenate(ds_valid)

См .: https://www.tensorflow.org/versions/r2.0/api_docs/python/tf/data/Dataset#concatenate

...