тензор потока, как обнулить значения из пакетного ввода

Question

Первый индекс None и индекс пакета,

Здесь в следующем примере размер пакета равен 2 (две строки), а длина ввода равна 3

In [12]: ar = [[0,1,2],
    ...: [2,0,3]]

In [13]: mask = tf.greater(ar, 0)
    ...: non_zero_array = tf.boolean_mask(ar, mask)

In [14]: non_zero_array.eval(session=sess)
Out[14]: array([1, 2, 2, 3], dtype=int32)

Iхочу вывод [[1,2], [2,3]] вместо [1,2,2,3] (это будет форма [Нет, input_length])

Я пытаюсь реализовать функциональность mask_zero самостоятельно, потому что однажды я дам mask_zero=Trueчтобы встроить слой, я не могу передать его в плотный слой (я объединяю другие тензоры и сглаживаю, а затем подаю в плотный слой, Flatten не принимает mask_zero)

Ниже я получаюitem_average, что в среднем составляет prior_ids, я хочу избавиться от 0 значений из prior_ids до получения вложений без использования mask_zero=0

 selected = self.item_embedding_layer(prior_ids)
 embedding_sum = tf.reduce_sum(selected, axis=1)
 non_zero_count =  tf.cast(tf.math.count_nonzero(prior_ids, axis=1), tf.float32)
 item_average = embedding_sum / tf.expand_dims(non_zero_count, axis=1)

Answer 1

Вот возможная реализация, которая работает, удаляя нули в последнем измерении для тензоров с любым числом измерений:

import tensorflow as tf

def remove_zeros(a):
    a = tf.convert_to_tensor(a)
    # Mask of selected elements
    mask = tf.not_equal(a, 0)
    # Take the first "row" of mask
    row0 = tf.gather_nd(mask, tf.zeros([tf.rank(mask) - 1], dtype=tf.int32))
    # Count number of non-zeros on last axis
    n = tf.math.count_nonzero(row0)
    # Mask elements
    a_masked = tf.boolean_mask(a, mask)
    # Reshape
    result = tf.reshape(a_masked, tf.concat([tf.shape(a)[:-1], [n]], axis=0))
    return result

# Test
with tf.Graph().as_default(), tf.Session() as sess:
    print(sess.run(remove_zeros([[0, 1, 2],
                                 [2, 0, 3]])))
    # [[1 2]
    #  [2 3]]
    print(sess.run(remove_zeros([[[0, 1, 0], [2, 0, 0], [0, 3, 0]],
                                 [[0, 0, 4], [0, 5, 0], [6, 0, 0]]])))
    # [[[1]
    #   [2]
    #   [3]]
    # 
    #  [[4]
    #   [5]
    #   [6]]]