Скрипт Python работает медленнее на экземпляре Google Compute по сравнению с Colab Laboratory

Question

Почему мой машинный скрипт python / tenorflow работает быстрее на colab по сравнению с экземпляром Google Compute с 24 vCPU?

Вызов на colab: !/content/myscript.py

Вызов на Google ComputeЭкземпляр: !/home/prj1/myscript.py

Время эпохи на Colab: 0,8 с

Время эпохи на Google Compute Экземпляр: 2,0 с

В обоих случаях я использую tenorflow 1.11 и Python2.7, myscript.py - единственная запущенная программа, а графический процессор не используется.Скрипт отображает прогресс обучения (только текст, без графики) на экране каждые 10 эпох.

Answer 1

Мне удалось сократить время эпохи до 1,1 с, выполнив оптимизацию, рекомендованную на Советы по повышению производительности для популярных платформ глубокого обучения на процессорах

Вот код:

import os
N_CORES                       = int(os.cpu_count()/2)
os.environ["OMP_NUM_THREADS"] = str(N_CORES)
os.environ["KMP_BLOCKTIME"]   = "30"
os.environ["KMP_SETTINGS"]    = "1"
os.environ["KMP_AFFINITY"]    = "granularity=fine,verbose,compact,1,0"
config_sess                   = tf.ConfigProto(intra_op_parallelism_threads=N_CORES, inter_op_parallelism_threads=2, allow_soft_placement=True, device_count = {'CPU': N_CORES})

with tf.Session(config=config_sess) as sess:

Answer 2

Колаборатория оптимизирована для Tensorflow, в то время как экземпляр GCE - это обычная машина. "Когда вы создаете новый блокнот на colab.research.google.com, TensorFlow уже предустановлен и оптимизирован для используемого оборудования." Вероятно, поэтому вы видите разницу в производительности между этими двумя,