Как использовать SVD внутри слоев keras? - PullRequest
Новая
       100

Как использовать SVD внутри слоев keras?

0 голосов
/ 13 апреля 2020

Моя цель - использовать SVD для PCA, чтобы отбелить скрытый слой перед передачей его в модуль декодера автоэнкодера. Я использовал tf.linalg.svd, но он не работает, поскольку он не содержит необходимые параметры Keras. Поэтому в качестве обходного пути я пытался обернуть его внутри Lambda, но получил эту ошибку

AttributeError: у объекта 'tuple' нет атрибута 'shape'.

Я пытался SO (Например, Использование SVD в пользовательском слое в Keras / tenorflow ) и поиск в Google для SVD в Keras, но не смог найти никаких ответов. Я добавил прикрепленный, но функциональный код: 

import numpy as np
import tensorflow as tf
from sklearn import preprocessing
from keras.layers import Lambda, Input, Dense, Multiply, Subtract
from keras.models import Model
from keras import backend as K
from keras.losses import mse
from keras import optimizers
from keras.callbacks import EarlyStopping

x = np.random.randn(100, 5)
train_data = preprocessing.scale(x)

input_shape = (5, )
original_dim = train_data.shape[1]
intermediate_dim_1 = 64
intermediate_dim_2 = 16
latent_dim = 2
batch_size = 10
epochs = 15


# build encoder model
inputs = Input(shape=input_shape, name='encoder_input')
layer_1 = Dense(intermediate_dim_1, activation='tanh') (inputs)
layer_2 = Dense(intermediate_dim_2, activation='tanh') (layer_1)
encoded_layer = Dense(latent_dim, name='latent_layer') (layer_2)
encoder = Model(inputs, encoded_layer, name='encoder')
encoder.summary()


# build decoder model
latent_inputs = Input(shape=(latent_dim,))
layer_1 = Dense(intermediate_dim_1, activation='tanh') (latent_inputs)
layer_2 = Dense(intermediate_dim_2, activation='tanh') (layer_1)
outputs = Dense(original_dim,activation='sigmoid') (layer_2)
decoder = Model(latent_inputs, outputs, name='decoder')
decoder.summary()

# mean removal and pca whitening
meanX = Lambda(lambda x: tf.reduce_mean(x, axis=0, keepdims=True))(encoded_layer)
standardized = Subtract()([encoded_layer, meanX])

sigma2 = K.dot(K.transpose(standardized), standardized)
sigma2 = Lambda(lambda x: x / batch_size)(sigma2)


s, u ,v = tf.linalg.svd(sigma2,compute_uv=True)
# s ,u ,v = Lambda(lambda x: tf.linalg.svd(x,compute_uv=True))(sigma2)

epsilon = 1e-6
# sqrt of number close to 0 leads to problem hence replace it with epsilon
si = tf.where(tf.less(s, epsilon), tf.sqrt(1 / epsilon) * tf.ones_like(s),
              tf.math.truediv(1.0, tf.sqrt(s)))
whitening_layer = u @ tf.linalg.diag(si) @ tf.transpose(v)
whitened_encoding = K.dot(standardized, whitening_layer)

# Connect models
z_decoded = decoder(standardized)
# z_decoded = decoder(whitened_encoding)

# Define losses
reconstruction_loss = mse(inputs,z_decoded)

# Instantiate autoencoder
ae = Model(inputs, z_decoded, name='autoencoder')
ae.add_loss(reconstruction_loss)

# callback = EarlyStopping(monitor='val_loss', patience=5)
adam = optimizers.adam(learning_rate=0.002)
ae.compile(optimizer=adam)
ae.summary()
ae.fit(train_data, epochs=epochs, batch_size=batch_size,
       validation_split=0.2, shuffle=True)

Чтобы воспроизвести ошибку, раскомментируйте эти строки и прокомментируйте предыдущую:

  1. z_decoded = декодер (whitened_encoding)

  2. s, u, v = лямбда (лямбда x: tf.linalg.svd (x, compute_uv = True)) (sigma2)

Буду признателен, если кто-нибудь подскажет, как обернуть SVD в слои Keras или альтернативную реализацию. Обратите внимание, что я не включил трюк репараметризации, чтобы вычислить потери, чтобы сохранить код простым. Спасибо!

...