A ответ на этот вопрос:
Как сохранить файл контрольной точки Tensorflow из Google Colab Laboratory при использовании режима TPU?
В тех случаях, когда официальный способ сохранения контрольной точки при использовании Tensorflow TPU заключается в использовании облачной службы Google.
Я работаю, если есть обходной путь для тех, кто не хочет использовать GCS. Возможно, для каждой переменной сделайте .eval (), сохраните переменную. А затем установите переменную сохранения в значение 'init' для каждой переменной.
Основной проблемой, которую я предвижу, является сохранение и загрузка параметров для оптимизаторов.
Для Кераса веса действительно сохраняются из ТПУ в локальные
https://colab.research.google.com/github/tensorflow/tpu/blob/master/tools/colab/shakespeare_with_tpu_and_keras.ipynb
ИНФОРМАЦИЯ: tenorflow: копирование весов TPU в ЦП
Так что я думаю, что есть и общий обходной путь, без использования керас.
Посмотрите на ЭТОТ КОД от Keras
Если я правильно понял, веса не сохраняются напрямую из TPU, вместо этого веса синхронизируются с процессором и сохраняются в хранилище colab.
EDIT
Также см .: этот ответ .