АЛЬБЕРТ не сходится - HuggingFace - PullRequest
Новая
       125

АЛЬБЕРТ не сходится - HuggingFace

1 голос
/ 20 июня 2020

Я пытаюсь применить предварительно обученную модель преобразователя HuggingFace ALBERT к моей задаче классификации текста, но потери не уменьшаются за пределами определенной точки.

Вот мой код:

В моем наборе данных классификации текста есть четыре метки: 

0, 1, 2, 3

Определить токенизатор 

maxlen=25
albert_path = 'albert-large-v1'
from transformers import AlbertTokenizer, TFAlbertModel, AlbertConfig
tokenizer = AlbertTokenizer.from_pretrained(albert_path, do_lower_case=True, add_special_tokens=True,
                                                max_length=maxlen, pad_to_max_length=True)

Кодировать все предложения в тексте, используя токенизатор 

encodings = []
for t in text:
  encodings.append(tokenizer.encode(t, max_length=maxlen, pad_to_max_length=True, add_special_tokens=True))

Определите предварительно обученную модель трансформатора и добавьте слой Dense поверх 

    from tensorflow.keras.layers import Input, Flatten, Dropout, Dense
    from tensorflow.keras import Model

    optimizer = tf.keras.optimizers.Adam(learning_rate= 1e-4)
    token_inputs = Input((maxlen), dtype=tf.int32, name='input_word_ids')
    config = AlbertConfig(num_labels=4, dropout=0.2, attention_dropout=0.2)
    albert_model = TFAlbertModel.from_pretrained(pretrained_model_name_or_path=albert_path, config=config)

    X = albert_model(token_inputs)[1] 
    X = Dropout(0.2)(X)
    output_= Dense(4, activation='softmax', name='output')(X)

    bert_model2 = Model(token_inputs,output_)
    print(bert_model2.summary())
    
    bert_model2.compile(optimizer=optimizer, loss='sparse_categorical_crossentropy')

Наконец, подайте закодированный текст и метки для модели 

encodings = np.asarray(encodings)
labels = np.asarray(labels)
bert_model2.fit(x=encodings, y = labels, epochs=20, batch_size=128)


Epoch 11/20
5/5 [==============================] - 2s 320ms/step - loss: 1.2923
Epoch 12/20
5/5 [==============================] - 2s 319ms/step - loss: 1.2412
Epoch 13/20
5/5 [==============================] - 2s 322ms/step - loss: 1.3118
Epoch 14/20
5/5 [==============================] - 2s 319ms/step - loss: 1.2531
Epoch 15/20
5/5 [==============================] - 2s 318ms/step - loss: 1.2825
Epoch 16/20
5/5 [==============================] - 2s 322ms/step - loss: 1.2479
Epoch 17/20
5/5 [==============================] - 2s 321ms/step - loss: 1.2623
Epoch 18/20
5/5 [==============================] - 2s 319ms/step - loss: 1.2576
Epoch 19/20
5/5 [==============================] - 2s 321ms/step - loss: 1.3143
Epoch 20/20
5/5 [==============================] - 2s 319ms/step - loss: 1.2716

Потери уменьшились с 6 примерно до 1,23, но, похоже, больше не уменьшаются даже после 30+ эпох.

Что я делаю не так?

Все советы очень признательны!

1 Ответ

0 голосов
/ 30 июня 2020
  1. Вы можете попробовать использовать SGD Optimizer
  2. Ввести пакетную нормализацию
  3. Попробуйте добавить несколько слоев (без предварительной подготовки) поверх слоя Альберта.
...