ОБНОВЛЕНИЕ:
Я нашел исходный код GPUDevice, он жестко запрограммировал максимум потоков на 1, могу ли я узнать причину?
GPUDevice (const SessionOptions & options, const string & name , Байт memory_limit, const DeviceLocality и локальность, TfGpuId tf_gpu_id, const string & Physical_Device_des c, Allocator * gpu_allocator, Allocator * cpu_allocator): BaseGPUDevice (опции, имя, память_limit, loc__local_t_p_L_L_L_F_L_D_L_L_L__D_L_L_L_L_L_L_L_p_L_T____t_) * syn c каждые операции * /, 1 / max_streams / ) {if (options.config.has_gpu_options ()) {force_gpu_compatible_ = options.config.gpu_options (). force_gpu_compatible (); }
============================================
Мне интересно, поддерживает ли TensorFlow (версия 1.x) многопоточность или многопотоковость на одном графическом процессоре. Если нет, мне любопытно, по каким причинам, TF сделал это в некоторых целях, или некоторые библиотеки, такие как CUDA, не дают TF предоставить, или по каким-то другим причинам?
Как и в некоторых предыдущих постах [1,2], я пытался запустить несколько тренировочных операций в TF, т.е. sees.run ([train_op1, train_op2], feed_dict = {...}), я использовал TF график для профилирования каждой итерации. Однако временная шкала TF всегда показывала, что две операции поезда выполняются последовательно (хотя временная шкала не является точной [3], время стены каждой операции предполагает последовательное выполнение). Я также рассмотрел некоторый исходный код TF, похоже, что каждая операция вычисляется в device-> ComputeAsyn c () или device-> Compute (), а графический процессор блокируется при вычислении операции. Если я прав, один GPU может запускать только одну операцию каждый раз, что может снизить использование GPU.
1. Одновременный запуск нескольких сеансов тензорного потока
2. Запуск параллельной операции с разными входами и одинаковым заполнителем
3. https://github.com/tensorflow/tensorflow/issues/1824#issuecomment -244251867