Возникла несовместимая проблема при сборке модели LSTM VAE. - PullRequest
Новая
       8

Возникла несовместимая проблема при сборке модели LSTM VAE.

0 голосов
/ 06 декабря 2018

Я пытаюсь построить VAE LSTM модель с keras.Форма ввода: (sample_number,20,31)

Хотя есть некоторые несовместимые проблемы.

Я не уверен, какая часть моего кода ошибочна, извините за публикацию всех из них.

Мой импорт: 

from keras.models import Sequential, Model
from keras.objectives import mse
from keras.layers import Dense, Dropout, Activation, Flatten, LSTM, TimeDistributed, RepeatVector, Input, Lambda
from keras.layers.normalization import BatchNormalization

Сначала я создаю функцию выборки с нормальным распределением. 

def sampling(args):
     z_mean, z_log_var = args
     batch = K.shape(z_mean)[0]
     dim = K.int_shape(z_mean)[1]
     epsilon = K.random_normal(shape=(batch,dim))
     return z_mean + K.exp(0.5 * z_log_var) * epsilon

Затем создайте кодер и декодер 

"======Encoer====="
inputs = Input(shape=(20,31,), name='encoder_input')
x = LSTM(30,activation='relu',return_sequences=True) (inputs)
x = LSTM(60,activation='relu') (x)
z_mean = Dense(60, name='z_mean')(x)
z_log_var = Dense(60, name='z_log_var')(x)
z = Lambda(sampling, output_shape=(60,), name='z')([z_mean, z_log_var])
z = RepeatVector(20)(z)
encoder = Model(inputs, [z_mean, z_log_var, z], name='encoder')

"=====Decoder======="
latent_inputs = Input(shape=(20,60), name='z_sampling')
x_2 = LSTM(60, activation='relu',return_sequences= True)(latent_inputs)
x_2 = LSTM(31, activation='relu')(x_2)
decoder = Model(latent_inputs, x_2, name='decoder')
outputs = decoder(encoder(inputs)[2])
vae = Model(inputs, outputs)

Наконец, настройте функцию потерь и поместите модель 

reconstruction_loss = mse(inputs, outputs)
kl_loss = 1 + z_log_var - K.square(z_mean) - K.exp(z_log_var)
kl_loss = K.sum(kl_loss, axis=-1)
kl_loss *= -0.5
vae_loss = K.mean(reconstruction_loss + kl_loss)
vae.add_loss(vae_loss) 
vae.compile(optimizer='adam')
vae.fit(train,validation_data=(val,None),epochs=100)

. Она получит эту ошибку, но я нигде не могу найти фигуру [32,31] или [32,20,31]: 

    InvalidArgumentError                      Traceback (most recent call last)
~\Anaconda3\lib\site-packages\tensorflow\python\client\session.py in _do_call(self, fn, *args)
   1326     try:
-> 1327       return fn(*args)
   1328     except errors.OpError as e:

~\Anaconda3\lib\site-packages\tensorflow\python\client\session.py in _run_fn(session, feed_dict, fetch_list, target_list, options, run_metadata)
   1305                                    feed_dict, fetch_list, target_list,
-> 1306                                    status, run_metadata)
   1307 

~\Anaconda3\lib\contextlib.py in __exit__(self, type, value, traceback)
     87             try:
---> 88                 next(self.gen)
     89             except StopIteration:

~\Anaconda3\lib\site-packages\tensorflow\python\framework\errors_impl.py in raise_exception_on_not_ok_status()
    465           compat.as_text(pywrap_tensorflow.TF_Message(status)),
--> 466           pywrap_tensorflow.TF_GetCode(status))
    467   finally:

InvalidArgumentError: Incompatible shapes: [32,20] vs. [32]
* 1027.* Благодарю за ответ.

1 Ответ

0 голосов
/ 06 декабря 2018

Форма ввода для кодера (32,20,31) здесь 32 по умолчанию batch_size и выход декодера (32,31) и функция mse жалуется на обе формы.

Проблема должнабыть решена заменой: x_2 = LSTM(31, activation='relu')(x_2) на x_2 = LSTM(31, activation='relu',return_sequences=True)(x_2)

PS: Также вы можете попробовать запустить encoder.summary() и decoder.summary(), чтобы получить форму каждого слоя.

Редактировать: kl_loss = K.sum(kl_loss, axis=-1) до kl_loss = K.sum(kl_loss)

...