Можете ли вы иметь вложенные буферы перемешивания в наборах данных TF? - PullRequest
Новая
       2

Можете ли вы иметь вложенные буферы перемешивания в наборах данных TF?

0 голосов
/ 14 июня 2019

У меня есть список наборов данных тензорного потока, которые я хочу свести с помощью чередования в один набор данных.В идеале каждый из этих наборов данных может иметь свой собственный буфер перемешивания, тогда в конечном плоском наборе данных также будет использоваться буфер перемешивания.Возможно ли это?

Я проверил это локально, и, похоже, это не работает, но я бы хотел получить более конкретный ответ или объяснение.


SHUFFLE_BUFFER_SIZE = 1000

create_nested_dataset(file_path):
  csv_dataset = tf.data.experimental.CsvDataset(file_path, ...)

  # apply other operations 
  # ...

  # shuffle
  shuffled_dataset = csv_dataset.shuffle(SHUFFLE_BUFFER_SIZE)

  return shuffled_dataset

single_dataset = nested_datasets.interleave(...)

final_dataset = single_dataset.shuffle(SHUFFLE_BUFFER_SIZE)

return final_dataset
...