Tensorflow Slow после "Закончено выполнение local_init_op" - PullRequest
Новая
       8

Tensorflow Slow после "Закончено выполнение local_init_op"

0 голосов
/ 02 января 2019

У меня есть код на основе тензорного потока, взятый из github, который очень медленный.Это даже не выводит на печать (даже после включения режима DEBUG для tf.logging), что происходит после того, как напечатано следующее

INFO: tenorflow: Закончено выполнение local_init_op. -> После выполнения кода этой строки требуется 20 минут ИНФОРМАЦИЯ: tenorflow: предсказание_loop, помеченное как завершенное

Может кто-нибудь подсказать, где искать и оптимизировать?
Следующие вещи уже естьпроверено:

  • model_fn: выполняется перед локальными файлами local_init_op
  • : файлы контрольных точек сохраняются и загружаются из локальной файловой системы.Так что задержка передачи файла не должна быть причиной
  • warm_start_from: пробовал.Не повлияло на время прогнозирования

Код оценщика: 

estimator = tf.contrib.tpu.TPUEstimator(
      use_tpu=FLAGS.use_tpu,
      model_fn=model_fn,
      config=run_config,
      warm_start_from = tf.estimator.WarmStartSettings(
            ckpt_to_initialize_from='/content/ckpt',
        ),
      train_batch_size=FLAGS.train_batch_size,
      predict_batch_size=FLAGS.predict_batch_size)

Код прогнозирования: 

results = estimator.predict(
          predict_input_fn, yield_single_examples=True, checkpoint_path='/content/ckpt/model.ckpt-10949')

Время, затраченное на выполнение этого кода: 

results = list(results)
...