Как загрузить другие веса в tenorflow-hub.module? - PullRequest
Новая
       82

Как загрузить другие веса в tenorflow-hub.module?

0 голосов
/ 08 мая 2019

Я хочу использовать ELMo в кератах, и для этого я хочу использовать тензор потока-хаб, вероятно, аналогично (https://github.com/strongio/keras-elmo/blob/master/Elmo%20Keras.ipynb или https://tfhub.dev/google/elmo/2).

Моя проблема в том, что я хочу использоватьПредварительно обученная модель, которая не использует слова, но обучается на белках (последовательностях аминокислот), и она должна быть обучаемой с моими представленными данными. Моя идея состоит в том, что мне просто нужно загрузить веса предварительно обученной белковой модели в тензор-hub.module для достижения этой цели. У меня есть весовые коэффициенты модели резака и модуль тензорного потока. 

# i can create a Elmo embedding layer for "normal text" which is pretrained and also trainable
class ElmoEmbeddingLayer(Layer):
    def __init__(self, **kwargs):
        self.dimensions = 1024
        self.trainable=True
        super(ElmoEmbeddingLayer, self).__init__(**kwargs)

    def build(self, input_shape):
        self.elmo = hub.Module('https://tfhub.dev/google/elmo/2', trainable=self.trainable,
                               name="{}_module".format(self.name))

        self.trainable_weights += K.tf.trainable_variables(scope="^{}_module/.*".format(self.name))
        super(ElmoEmbeddingLayer, self).build(input_shape)

    def call(self, x, mask=None):
        result = self.elmo(K.squeeze(K.cast(x, tf.string), axis=1),
                      as_dict=True,
                      signature='default',
                      )['default']
        return result

    def compute_mask(self, inputs, mask=None):
        return K.not_equal(inputs, '--PAD--')

    def compute_output_shape(self, input_shape):
        return (input_shape[0], self.dimensions)


input_text = layers.Input(shape=(1,), dtype="string")
embedding = ElmoEmbeddingLayer()(input_text)
dense = layers.Dense(256, activation='relu')(embedding)
pred = layers.Dense(1, activation='sigmoid')(dense)
model = models.Model(inputs=[input_text], outputs=pred)

# i also have an embedder of with the weights i want, but this one is not trainable with keras

cwd = os.getcwd()
model_dir = Path('../seqvec/uniref50_v2/')
weights = model_dir / 'weights.hdf5'
options = model_dir / 'options.json'
seqvec = ElmoEmbedder(options,weights,cuda_device=-1) # cuda_device=-1 for CPU

Если вы не знаете, как загрузить весовые коэффициенты в тензорном концентраторе, ноесть другой обходной путь, который позволяет мне использовать ElmoEmbedder с тренировочными весами, пожалуйста, ответьте также.

...