Есть ли способ разбить tf.Dataset с помощью API набора данных TensorFlow? (Не раздел простого np.array)

Question

Я проверил документ , но я не смог найти метод для этого. Я хочу провести перекрестную проверку, так что мне это нужно.

Обратите внимание, что я не спрашиваю, как разделить тензор, так как я знаю, что TensorFlow предоставляет API, для которого ответ был дан в другом вопросе. Я спрашиваю о том, как разделить tf.Dataset (который является абстракцией).

Answer 1

Вы можете либо:

1) Используйте преобразование осколок , чтобы разбить набор данных на несколько «осколков». Обратите внимание, что для лучшей производительности шардинг должен быть в источниках данных (например, имена файлов).

2) Начиная с TensorFlow 1.12, вы также можете использовать преобразование window для создания набора данных.

Answer 2

Боюсь, вы не можете. API набора данных - это способ эффективной потоковой передачи входных данных в вашу сеть во время выполнения. Это не набор инструментов для манипулирования наборами данных в целом - в этом отношении он может быть немного неправильным.

Кроме того, если бы вы могли, это, вероятно, было бы плохой идеей. Вы бы предпочли, чтобы этот разделение поезда / теста было выполнено раз и навсегда.

• он позволяет просматривать эти наборы в автономном режиме
• если разделение выполняется каждый раз, когда вы запускаете эксперимент, существует риск того, что выборки начнут менять наборы, если вы не будете особенно осторожны (например, когда вы добавите больше данных в существующий набор данных)

См. Также связанный вопрос о , как разбить набор на обучение и тестирование в tenorflow .