Tensorflow 1.12 применяет dataset.filter к dataset.window - PullRequest
Новая
       21

Tensorflow 1.12 применяет dataset.filter к dataset.window

0 голосов
/ 28 ноября 2018

У меня есть последовательный набор данных, из которого я создаю окна для обучения RNN.Есть случаи, когда я хочу выбросить определенные окна.Однако, когда я использую dataset.window, а затем dataset.filter, что-то ломается внутри конвейера.Вот игрушечный пример, может, кто-нибудь посоветует мне, как сделать это правильно.Этот игрушечный пример демонстрирует мои проблемы.Приведенный ниже код создает окна размером 4, а затем создает пакеты по 4 окна на пакет.Я хочу выбросить окно, если последний элемент в окне нечетный, поэтому мои пакеты всегда будут иметь размер 4, но окна внутри пакета всегда должны заканчиваться элементом события. 

import tensorflow as tf
sess = tf.InteractiveSession()
ds = tf.data.Dataset.range(100)
ds = ds.window(size=4, shift=1,
               stride=1,
               drop_remainder=True).flat_map(lambda x: x.batch(4))

#*I want to keep the window if the last element in the window is even*
ds = ds.filter(lambda x: x[3] % 2 == 0) 

ds = ds.repeat()
ds = ds.batch(4, drop_remainder=True)
it = ds.make_one_shot_iterator()
data = it.get_next()
for i in range(100):
    print(sess.run([data]))
sess.close()

И это выдает следующую ошибку: 

OutOfRangeError: End of sequence
     [[{{node IteratorGetNext_6}} = IteratorGetNext[output_shapes=[[4,?]], output_types=[DT_INT64], _device="/job:localhost/replica:0/task:0/device:CPU:0"](OneShotIterator_6)]]

During handling of the above exception, another exception occurred:

OutOfRangeError                           Traceback (most recent call last)
<ipython-input-54-d6d959b5be78> in <module>
      1 for i in range(100):
----> 2     print(sess.run([data]))

1 Ответ

0 голосов
/ 28 ноября 2018

Если вы посмотрите на тип возвращаемого предиката в методе filter , вам нужно вернуть скалярный тензор bool, который, как я подозреваю, не происходит с вашим питоническим предикатом.Изменение кода, чтобы вернуть такой тензор, дает мне результаты.

import tensorflow as tf
sess = tf.InteractiveSession()
ds = tf.data.Dataset.range(100)
ds = ds.window(size=4, shift=1,
               stride=1,
               drop_remainder=True).flat_map(lambda x: x.batch(4))

#*I want to keep the window if the last element in the window is even*
ds = ds.filter(lambda x: tf.equal(x[3] % 2, 0)) 

ds = ds.repeat()
ds = ds.batch(4, drop_remainder=True)
it = ds.make_one_shot_iterator()
data = it.get_next()
for i in range(100):
    print(sess.run([data]))
sess.close()

Результат: 

[array([[ 1,  2,  3,  4],
       [ 3,  4,  5,  6],
       [ 5,  6,  7,  8],
       [ 7,  8,  9, 10]])]
[array([[ 9, 10, 11, 12],
       [11, 12, 13, 14],
       [13, 14, 15, 16],
       [15, 16, 17, 18]])]
[array([[17, 18, 19, 20],
       [19, 20, 21, 22],
       [21, 22, 23, 24],
       [23, 24, 25, 26]])]
[array([[25, 26, 27, 28],
       [27, 28, 29, 30],
       [29, 30, 31, 32],
       [31, 32, 33, 34]])]
[array([[33, 34, 35, 36],
       [35, 36, 37, 38],
       [37, 38, 39, 40],
       [39, 40, 41, 42]])]

и т. Д.

...