Как оптимизировать размер точно настроенной модели BERT в TensorFlow 2.0?

Question

После точной настройки BERT для классификации размер модели составляет ~ 1,3 ГБ, в то время как размер предварительно обученной модели составлял ~ 400 МБ. Это происходит из-за дополнительных переменных, связанных с Адамом, сохраненных с моделью, и их можно удалить при сохранении, как описано в https://github.com/google-research/bert/issues/99 для TensorFlow 1.x.

Как это сделать в TensorFlow 2.x?

Answer 1

Нашел решение. save() метод обученной модели имеет в качестве аргумента include_optimizer, который по умолчанию равен True. Установка его на False не сохраняет состояние оптимизатора, и сохраненный файл модели сопоставим с предварительно обученным файлом.