Как сделать матрично-скалярное умножение в TensorFlow с пакетной обработкой? - PullRequest
Новая
       6

Как сделать матрично-скалярное умножение в TensorFlow с пакетной обработкой?

0 голосов
/ 11 июня 2018

Вначале я опишу формулу, которую я пытаюсь вычислить:

Математическая формула в google chat api (я не могу опубликовать изображение напрямую.)

где I - единичная матрица с формой (M, M), N_i - вектор (C) и T - матрица (C * F, M), T_c - подматрицы с формой (F, M).

Мой код для tenorflow перечислить это выглядит так: 

N_p = tf.placeholder(floatX, shape=[C], name='N_p')
I = tf.Variable(np.eye(M),dtype=tf.float32, name="I")
T = tf.Variable(np.random.rand(C*F,M),dtype=tf.float32, name="T")

L = I
for i,T_c in enumerate([T[i:i+F,:] for i in xrange(0,F*C,F)]):
    L=tf.add(L,tf.scalar_mul(N_p[i],tf.matmul(tf.transpose(T_c),T_c)))

Это работает нормально, к сожалению, мне нужно расширить это в пакетную обработку, здесь N_p будет: 

N_p = tf.placeholder(floatX, shape=[None,C], name='N_p')

К сожалению, я не знаю, как изменить мою формулу тензорного потока.Проблема в scalar_mul. 

L=tf.add(L,tf.scalar_mul(N_p[:,i],tf.matmul(tf.transpose(T_c),T_c)))

что очевидно почему, но как его переписать?Большое спасибо за любые советы.

1 Ответ

0 голосов
/ 11 июня 2018

Вы можете достичь вышеуказанного в матричной форме, без каких-либо циклов: 

T --> [C, F, M]
T_1 --> transpose T to --> [C, F, M]
T_2 --> transpose T to --> [C, M, F]
d --> matmul (T_1, T_2) --> [C, M, M] --> transpose --> [M, M, C]
out --> multiply (d, N) : d -> [1, M, M, C], N -> [batch, 1, 1, C]
      --> [batch, M, M, C] --> reduce_sum (axis=2) --> [batch, M, M]
      --> add I

Рабочий код (соответствует вашему коду для batch=1): 

N_1 = tf.placeholder(tf.float32, [None, C])
reshape_T = tf.reshape(T, [C, F, M])

# reshape to do a batch matrix multiplication (C, F, M) and (C, M, F)
T_1 = tf.transpose(reshape_T, [0, 2, 1])
T_2 = tf.transpose(reshape_T, [0, 1, 2])

d = tf.transpose(tf.matmul(T_1,T_2), [2,1,0])
out = tf.reduce_sum(d[None,...]* tf.reshape(N_1, [-1, 1, 1, C]), axis=3) + I

with tf.Session() as sess:
   sess.run(tf.global_variables_initializer())
   print(sess.run(out, {N_1: inp}))
...