Я предварительно обучаюсь BERT с набором болгарских данных на одном облачном TPU v2 8, используя исходные параметры (скорость обучения = 5e-5, размер тренировочной партии = 32, количество шагов обучения = 100000). Проблема в том, что он заканчивает тренировку очень быстро (3 часа), а потери не go ниже 3. Мои тренировочные данные составляют 40 ГБ, и я использую tenorflow 1.15 введите описание изображения здесь
Ты хоть представляешь, в чем проблема?