Точная настройка BERT: потери в обучении уменьшаются, но точность остается неизменной - PullRequest
Новая
       113

Точная настройка BERT: потери в обучении уменьшаются, но точность остается неизменной

0 голосов
/ 21 июня 2020

Я уже некоторое время тренировался bert на настраиваемом наборе данных. Во время тренировки я заметил, что, хотя потери на тренировке уменьшаются, точность val остается фиксированной на уровне 0,5. Я перепробовал все различные модели BERT, доступные в Huggingface, и не знаю, что делать. Вот результат во время обучения: 

step:  0 of total steps:  250
step:  25 of total steps:  250
step:  50 of total steps:  250
step:  75 of total steps:  250
step:  100 of total steps:  250
step:  125 of total steps:  250
step:  150 of total steps:  250
step:  175 of total steps:  250
step:  200 of total steps:  250
step:  225 of total steps:  250
Average loss for epoch:  0.4582762689590454
/usr/local/lib/python3.6/dist-packages/ipykernel_launcher.py:6: DeprecationWarning: elementwise comparison failed; this will raise an error in the future.
  
  Accuracy: 0.50
 Eval loss:  0.40
Epoch:  1
step:  0 of total steps:  250
step:  25 of total steps:  250
step:  50 of total steps:  250
step:  75 of total steps:  250
step:  100 of total steps:  250
step:  125 of total steps:  250
step:  150 of total steps:  250
step:  175 of total steps:  250
step:  200 of total steps:  250
step:  225 of total steps:  250
Average loss for epoch:  0.3786401364207268
  Accuracy: 0.50
 Eval loss:  0.39```


Can this be overfitting by any chance?
...