Ошибка Keras при использовании ELMo Embedded в слое сцепления? - PullRequest
0 голосов
/ 25 февраля 2019

поэтому сначала я использовал GloVe в своей модели, она работала нормально, но теперь я хочу переключиться на Elmo, но всегда получаю эту ошибку:

ValueError: Слой Concatenate требует ввода ссоответствующие формы, за исключением конкатной оси.Получил входные данные: [(Нет, 20), (Нет, 20), (Нет, 20, 5)]

Не могли бы вы мне помочь? Вот фрагмент моего кода: пожалуйста, дайте мнезнать, если вам нужно больше деталей.

моя модель

pos_embedding_layer = Embedding(output_dim = pos_tag_embedding_size,
                         input_dim = len(SPACY_POS_TAGS),
                         input_length = sent_maxlen,
                         name='pos_embedding_layer')
inputs = [Input((sent_maxlen,), dtype='int32', name='word_inputs'),
            Input((sent_maxlen,), dtype='int32', name='predicate_inputs'),
            Input((sent_maxlen,), dtype='int32', name='postags_inputs')]

# ElmoEmbeddingLayer()
embedding_layer = ElmoEmbeddingLayer()

embeddings = [embedding_layer(inputs[0]), 
               embedding_layer(inputs[1]),
                pos_embedding_layer(inputs[2])]

outputI = predict_layer(dropout(latent_layers(keras.layers.concatenate(embeddings))))
#error thrown here in outputI


## ------> 10]Build model 
model = Model(inputs, outputI)

Elmo в Керасе

class ElmoEmbeddingLayer(Layer):
    def __init__(self, **kwargs):
        self.dimensions = 1024
        self.trainable = True
        super(ElmoEmbeddingLayer, self).__init__(**kwargs)
def build(self, input_shape):
        self.elmo = hub.Module('https://tfhub.dev/google/elmo/2', trainable=self.trainable, name="{}_module".format(self.name))
        self.trainable_weights += K.tf.trainable_variables(scope="^{}_module/.*".format(self.name))
        super(ElmoEmbeddingLayer, self).build(input_shape)
def call(self, x, mask=None):
        result = self.elmo(K.squeeze(K.cast(x, tf.string), axis=1),
                      as_dict=True,
                      signature='default',
                      )['default']
        return result
def compute_mask(self, inputs, mask=None):
        return K.not_equal(inputs, '--PAD--')
def compute_output_shape(self, input_shape):
        return (input_shape[0], self.dimensions)
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...