Как добавить постоянный тензор в керасе?

Question

Я пытаюсь добавить постоянный тензор к выводу сети:

inputs = Input(shape=(config.N_FRAMES_IN_SEQUENCE, config.IMAGE_H, config.IMAGE_W, config.N_CHANNELS))
cnn = VGG16(include_top=False, weights='imagenet', input_shape=(config.IMAGE_H, config.IMAGE_W, config.N_CHANNELS))
x = TimeDistributed(cnn)(inputs)
x = TimeDistributed(Flatten())(x)
x = LSTM(256)(x)
x = Dense(config.N_LANDMARKS * 2, activation='linear')(x)

mean_landmarks = np.array(config.MEAN_LANDMARKS, np.float32)
mean_landmarks = mean_landmarks.flatten()
mean_landmarks_tf = tf.convert_to_tensor(mean_landmarks)
x = x + mean_landmarks_tf

model = Model(inputs=inputs, outputs=x)
optimizer = Adadelta()
model.compile(optimizer=optimizer, loss='mae')

Но я получаю ошибку:

ValueError: Output tensors to a Model must be the output of a Keras `Layer` (thus holding past layer metadata). Found: Tensor("add:0", shape=(?, 136), dtype=float32)

Это тривиально в тензорном потоке, нокак это сделать в керасе?

Answer 1

В дополнение к вашему собственному ответу я бы сильно предпочел нативную реализацию дополнения, например, Keras предоставляет Keras.layers.Add.

Причина этого в том, что я не уверенкак ваша собственная лямбда-функция переносится на нижние уровни: по сути, в TensorFlow (или любом другом используемом вами бэкенде) внутренние операции используют сильно оптимизированный вычислительный граф, тогда как пользовательские операции имеют тенденцию переводиться в более тяжелый вес(или, в худшем случае, раздутый) низкоуровневое выполнение.

Правильный способ сделать это с Keras.layers.Add будет просто делать

x = keras.layers.Add()([x, add_mean_landmarks])

Answer 2

Кажется, это можно сделать с помощью слоя Lamda:

from keras.layers import Lambda

def add_mean_landmarks(x):
    mean_landmarks = np.array(config.MEAN_LANDMARKS, np.float32)
    mean_landmarks = mean_landmarks.flatten()
    mean_landmarks_tf = tf.convert_to_tensor(mean_landmarks)
    x = x + mean_landmarks_tf
    return x


x = Lambda(add_mean_landmarks)(x)