API набора данных Tensorflow медленно получает данные в больших пакетах - PullRequest
0 голосов
/ 03 октября 2018

Я считаю, что получение одного пакета из API набора данных tenorflow может быть очень медленным, когда размер пакета велик, даже когда все данные находятся в памяти.Ниже приведен один пример.У кого-нибудь есть понимание?

FEATURE_NUM = 500
tf_X = tf.placeholder(dtype=tf.float32, shape=[None, FEATURE_NUM], name="X")
tf_Y = tf.placeholder(dtype=tf.float32, shape=[None, 1], name="Y")

batch_size = 1000000
dataset = tf.data.Dataset.from_tensor_slices((tf_X, tf_Y)).batch(batch_size)
iterator = dataset.make_initializable_iterator()
next_element = iterator.get_next()

se = tf.Session()
se.run(tf.global_variables_initializer())
se.run(iterator.initializer, feed_dict={tf_X : numpy_array_X, tf_Y : numpy_array_Y})

while True:
    data = se.run(next_element) # This takes more than 5 seconds per call
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...