Обучение с BERT для классификации с использованием Keras дает Nan в качестве потери проверки - PullRequest
0 голосов
/ 15 февраля 2020

Я пытаюсь использовать BERT для задачи классификации, используя код, доступный здесь https://github.com/tensorflow/models/tree/master/official/nlp/bert

Я мог бы успешно обучить модель с использованием низкоуровневого API. Однако, если я использую Keras API, я получаю потери проверки как nan в конце каждой эпохи. Потери обучения модели снижаются и после каждой эпохи в Keras API, и я получаю разумные значения точности на наборе разработчиков, указывая на то, что обучение модели работает так, как ожидалось. Есть ли способ определить в Керасе, почему потеря валидации - это нан?

...