Потоковая передача данных NumPy в качестве входных данных в Tensorflow - PullRequest
1 голос
/ 28 сентября 2019

Я читал https://www.tensorflow.org/guide/datasets, чтобы найти решение для потоковой передачи массивов NumPy, хранящихся в файлах npz, которые могут быть слишком большими, чтобы поместиться в памяти.Этот фрагмент приведен в документации:

# Load the training data into two NumPy arrays, for example using `np.load()`.
with np.load("/var/data/training_data.npy") as data:
  features = data["features"]
  labels = data["labels"]

# Assume that each row of `features` corresponds to the same row as `labels`.
assert features.shape[0] == labels.shape[0]

features_placeholder = tf.placeholder(features.dtype, features.shape)
labels_placeholder = tf.placeholder(labels.dtype, labels.shape)

dataset = tf.data.Dataset.from_tensor_slices((features_placeholder, labels_placeholder))
# [Other transformations on `dataset`...]
dataset = ...
iterator = dataset.make_initializable_iterator()

sess.run(iterator.initializer, feed_dict={features_placeholder: features,
                                          labels_placeholder: labels})

Действительно ли этот метод позволяет вам передавать данные NumPy?Разве features = data["features"] не загружает данные полностью в память?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...