Вы можете присвоить элемент переменной в tenorflow.Вот пример.(Я не нашел K.assign этой операции в моей установленной версии tenorflow, кстати)
import tensorflow as tf
import keras.backend as K
M = tf.Variable(K.eye(2), tf.float32)
assign_op = tf.assign(M[0,1], 1.0)
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
print(sess.run(M))
sess.run(assign_op)
print(sess.run(M))
#[[1. 0.]
# [0. 1.]]
#[[1. 1.]
# [0. 1.]]