Внедрение BERT в керасе с TF_HUB - PullRequest
Новая
       47

Внедрение BERT в керасе с TF_HUB

1 голос
/ 29 мая 2019

Я пытался реализовать модель Google Bert в тензор-кера с использованием тензор потока-хаба.Для этого я разработал специальный слой keras "Bertlayer".Теперь проблема в том, что когда я компилирую модель keras, она продолжает показывать, что

AttributeError: у объекта 'Bertlayer' нет атрибута '_keras_style'

Я не знаю, где я ошибаюсь и чтоАтрибут _keras_style is. Помогите найти ошибку в коде.

Это ссылка на полный код github: https://github.com/PradyumnaGupta/BERT/blob/master/Untitled21.ipynb

class BertLayer(tf.layers.Layer):
    def __init__(self, n_fine_tune_layers=10, **kwargs):
        self.n_fine_tune_layers = n_fine_tune_layers
        self.trainable = True
        self.output_size = 768
        super(BertLayer, self).__init__(**kwargs)

    def build(self, input_shape):
        self.bert = hub.Module(
            bert_path,
            trainable=self.trainable,
            name="{}_module".format(self.name)
        )

        trainable_vars = self.bert.variables

        # Remove unused layers
        trainable_vars = [var for var in trainable_vars if not "/cls/" in var.name]

        # Select how many layers to fine tune
        trainable_vars = trainable_vars[-self.n_fine_tune_layers :]

        # Add to trainable weights
        for var in trainable_vars:
            self._trainable_weights.append(var)

        for var in self.bert.variables:
            if var not in self._trainable_weights:
                self._non_trainable_weights.append(var)

        super(BertLayer, self).build(input_shape)

    def call(self, inputs):
        inputs = [K.cast(x, dtype="int32") for x in inputs]
        input_ids, input_mask, segment_ids = inputs
        bert_inputs = dict(
            input_ids=input_ids, input_mask=input_mask, segment_ids=segment_ids
        )
        result = self.bert(inputs=bert_inputs, signature="tokens", as_dict=True)[
            "pooled_output"
        ]
        return result

    def compute_output_shape(self, input_shape):
        return (input_shape[0], self.output_size)

1 Ответ

0 голосов
/ 30 мая 2019

Итак, версия tenorflow 1. * немного вводит в заблуждение.На самом деле он имеет 2 базовых класса, называемых Layer.Один - тот, который вы используете.Он предназначен для реализации ярлыков поверх обычных операций TF.Другой from tensorflow.keras.layers import Layer предназначен для моделей и последовательностей, похожих на Keras.

Судя по вашей ошибке, вы используете керасы / модели для дальнейшего обучения.

Вы, вероятно, должны начать формировать свой слой с keras.layers.Layer вместо tf.layers.Layer.

...