Функциональность RandomShuffleQueue с tf.data.Dataset

Question

Я хочу заменить мой старый RandomShuffleQueue подход на tf.data.Dataset.Для некоторой предыстории: я генерирую данные во время выполнения, помещаю их в очередь и затем вынимаю их случайным образом.

Я не вижу способа сделать это с tf.data.Dataset, потому что мне всегда нужно будет генерировать данные, пока у меня нет способа поместить новые данные в Dataset.Что-то вроде повторения не поможет мне, потому что это просто всегда работает на Dataset с теми же элементами, которые я вставил заранее.

Есть какие-нибудь идеи, как получить функциональность Queue в tf.data.Dataset?В основном, если у меня есть очередь / буфер в tf.data.DataSet, как мне пополнить его новыми данными?

Answer 1

Если я вас правильно понял, это звучит как идеальное совпадение для Dataset.from_generator().После этого вы можете добавить Dataset.shuffle(), если хотите создать буфер и произвольно извлечь из него элементы.