Tensorflow висит на Google Compute Engine с помощью nohup

Question

Я пытаюсь запустить модель TensorFlow, которая, по моим оценкам, займет примерно 11 часов. Поэтому я хотел бы использовать nohup, чтобы выйти из своего терминала и продолжить работу. Для этого я использую следующую команду:

nohup python3 trainModel.py > log.txt &

Моя модель работает нормально, но зависает с последним выводимым сообщением:

2020-01-22 19:06:24.669183: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1697] Adding visible gpu devices: 0

Это нормально для моей модели, чтобы вывести это, однако, когда я не использую nohup, остальная часть кода все еще выполняется. Что мне нужно сделать, чтобы эта команда выполнялась, когда я не использую nohup?

Answer 1

Попробуйте использовать абсолютные пути при выполнении вместо относительных путей

Answer 2

Не могли бы вы выслать код состояния завершения выполнения? echo $?

Это поможет получить точное представление об ошибке

Кроме того, вы можете попытаться отправить стандартный вывод ошибки в файл log.txt, например

nohup python3 trainModel.py 2> log.txt &

Стандартный вывод будет перенаправлен в файл nohup, а log.txt будет содержать стандартную ошибку вывода

Надеюсь, это поможет