Настройка BERT на пользовательских данных - PullRequest
Новая
       34

Настройка BERT на пользовательских данных

1 голос
/ 04 мая 2019

Я хочу обучить модель классификации текста 21 , используя Берт. Но у меня очень мало обучающих данных, поэтому я скачал похожий набор данных с 5 классами с 2 миллионами образцов. И точно настроенные загруженные данные с необработанной предварительно обученной моделью, предоставленной Bert. И получил около 98% точности проверки. Теперь я хочу использовать эту модель в качестве предварительно обученной модели для моих небольших пользовательских данных. Но я получаю shape mismatch with tensor output_bias from checkpoint reader ошибку, так как модель контрольной точки имеет 5 классов, а мои пользовательские данные имеют 21 класс. 

NFO:tensorflow:Calling model_fn.
INFO:tensorflow:Running train on CPU
INFO:tensorflow:*** Features ***
INFO:tensorflow:  name = input_ids, shape = (32, 128)
INFO:tensorflow:  name = input_mask, shape = (32, 128)
INFO:tensorflow:  name = is_real_example, shape = (32,)
INFO:tensorflow:  name = label_ids, shape = (32, 21)
INFO:tensorflow:  name = segment_ids, shape = (32, 128)
Tensor("IteratorGetNext:3", shape=(32, 21), dtype=int32)
WARNING:tensorflow:From /home/user/Spine_NLP/bert/modeling.py:358: calling dropout (from tensorflow.python.ops.nn_ops) with keep_prob is deprecated and will be removed in a future version.
Instructions for updating:
Please use `rate` instead of `keep_prob`. Rate should be set to `rate = 1 - keep_prob`.
WARNING:tensorflow:From /home/user/Spine_NLP/bert/modeling.py:671: dense (from tensorflow.python.layers.core) is deprecated and will be removed in a future version.
Instructions for updating:
Use keras.layers.dense instead.
INFO:tensorflow:num_labels:21;logits:Tensor("loss/BiasAdd:0", shape=(32, 21), dtype=float32);labels:Tensor("loss/Cast:0", shape=(32, 21), dtype=float32)
INFO:tensorflow:Error recorded from training_loop: Shape of variable output_bias:0 ((21,)) doesn't match with shape of tensor output_bias ([5]) from checkpoint reader.

1 Ответ

4 голосов
/ 07 мая 2019

Если вы хотите настроить свою собственную модель с помощью предварительно обученной модели с 5 классами, вы, вероятно, захотите добавить еще один слой , чтобы проецировать 5 классов на 21 класс.

Ошибка, которую вы видите, связана с тем, что вы, вероятно, не определили новый набор «output_weights» и «output_bias», но повторно использовали их для своих новых меток с 21 классом. Ниже я "префикс" промежуточных тензоров для ваших новых ярлыков с "final _".

Код должен выглядеть примерно так: 

# These are the logits for the 5 classes. Keep them as is.
logits = tf.matmul(output_layer, output_weights, transpose_b=True)
logits = tf.nn.bias_add(logits, output_bias)

# You want to create one more layer
final_output_weights = tf.get_variable(
  "final_output_weights", [21, 5],
  initializer=tf.truncated_normal_initializer(stddev=0.02))
final_output_bias = tf.get_variable(
  "final_output_bias", [21], initializer=tf.zeros_initializer())

final_logits = tf.matmul(logits, final_output_weights, transpose_b=True)
final_logits = tf.nn.bias_add(final_logits, final_output_bias)

# Below is for evaluating the classification.
final_probabilities = tf.nn.softmax(final_logits, axis=-1)
final_log_probs = tf.nn.log_softmax(final_logits, axis=-1)

# Note labels below should be the 21 class ids.
final_one_hot_labels = tf.one_hot(labels, depth=21, dtype=tf.float32)
final_per_example_loss = -tf.reduce_sum(final_one_hot_labels * final_log_probs, axis=-1)
final_loss = tf.reduce_mean(final_per_example_loss)
...