запустить два сценария параллельно и остановить один на основе возврата другого - PullRequest
Новая
       31

запустить два сценария параллельно и остановить один на основе возврата другого

0 голосов
/ 20 ноября 2018

Я хочу запустить два разных скрипта Python (обнаружение объектов tensflow train.py и eval.py) параллельно на разных графических процессорах, а когда train.py будет завершен, убить eval.py.

У меня есть следующий код для параллельного запуска двух подпроцессов ( Как завершить подпроцесс python, запущенный с shell = True ).Но подпроцессы запускаются на одном устройстве (я могу догадаться почему. Я просто не знаю, как запустить их на разных устройствах).

start_train = “CUDA_DEVICE_ORDER= PCI_BUS_ID CUDA VISIBLE_DEVICES=0 train.py ...”

start_eval = “CUDA_DEVICE_ORDER= PCI_BUS_ID CUDA VISIBLE_DEVICES=1 eval.py ...”

commands = [start_train, start_eval]

procs = [subprocess.Popen(i, shell=True, stdout=subprocess.PIPE, preexec_fn=os.setsid) for i in commands]

После этого момента я не знаю, как поступить.Мне нужно что-то вроде ниже?Должен ли я использовать p.communicate() вместо того, чтобы избежать тупиков?Или этого достаточно, если я просто вызову wait () или connect () для train.py, поскольку мне нужно только его завершение. 

for p in procs:
    p.wait() # I assume this command won’t affect the parallel running

Тогда мне нужно каким-то образом использовать следующую команду.Мне не нужно возвращаемое значение из train.py, но нужен код возврата только из подпроцесса. Документация Popen.returncode wait () и communication () выглядят так, как будто нуждаются в настройке кода возврата.Я не понимаю, как это установить.Я предпочитаю что-то вроде 

if train is done without any error:
    os.killpg(os.getpgid(procs[1].pid), signal.SIGTERM) 
else:
    write the error to the console, or to a file (but how?)

ИЛИ? 

train_return = proc[0].wait() 
if train_return == 0:
    os.killpg(os.getpgid(procs[1].pid), signal.SIGTERM)

ОБНОВЛЕНИЕ ПОСЛЕ РЕШЕНИЯ ПРОБЛЕМЫ:

Это мой главный номер: 

if __name__ == "__main__":
    exp = 1
    go = True
    while go:


        create_dir(os.path.join(MAIN_PATH,'kitti',str(exp),'train'))
        create_dir(os.path.join(MAIN_PATH,'kitti',str(exp),'eval'))


        copy_tree(os.path.join(MAIN_PATH,"kitti/eval_after_COCO"), os.path.join(MAIN_PATH,"kitti",str(exp),"eval"))
        copy_tree(os.path.join(MAIN_PATH,"kitti/train_after_COCO"), os.path.join(MAIN_PATH,"kitti",str(exp),"train"))

        err_log = open('./kitti/'+str(exp)+'/error_log' + str(exp) + '.txt', 'w')

        train_command = CUDA_COMMAND_PREFIX + "0 python3 " + str(MAIN_PATH) + "legacy/train.py \
                                            --logtostderr --train_dir " + str(MAIN_PATH) + "kitti/" \
                                            + str(exp) + "/train/ --pipeline_config_path " + str(MAIN_PATH) \
                                            + "kitti/faster_rcnn_resnet101_coco.config"
        eval_command = CUDA_COMMAND_PREFIX + "1 python3 " + str(MAIN_PATH) + "legacy/eval.py \
                                            --logtostderr --eval_dir " + str(MAIN_PATH) + "kitti/" \
                                            + str(exp) + "/eval/ --pipeline_config_path " + str(MAIN_PATH) \
                                            + "kitti/faster_rcnn_resnet101_coco.config --checkpoint_dir " + \
                                            str(MAIN_PATH) + "kitti/" + str(exp) + "/train/"

        os.system("python3 dataset_tools/random_sampler_with_replacement.py --random_set_id " + str(exp))
        time.sleep(20)
        update_train_set(exp)



        train_proc = subprocess.Popen(train_command,
                                  stdout=subprocess.PIPE,
                                  stderr=err_log, # write errors to a file
                                  shell=True)
        time.sleep(20)      
        eval_proc = subprocess.Popen(eval_command,
                                 stdout=subprocess.PIPE,
                                 shell=True)
        time.sleep(20)

        if train_proc.wait() == 0: # successfull termination
            os.killpg(os.getpgid(eval_proc.pid), subprocess.signal.SIGTERM)

        clean_train_set(exp)
        time.sleep(20)
        exp += 1
        if exp == 51:
            go = False

1 Ответ

0 голосов
/ 20 ноября 2018

По умолчанию TensorFlow назначает операции для "/ gpu: 0" (или "/ cpu: 0"), даже если у вас несколько графических процессоров. Единственный способ решить эту проблему - назначить каждую операцию вручную второму графическому процессору в одном из ваших сценариев с помощью диспетчера контекста 

with tf.device("/gpu:1"):
    # your ops here

UPDATE

Если я вас правильно понимаю, вам нужно следующее: 

import subprocess
import os
err_log = open('error_log.txt', 'w')
train_proc = subprocess.Popen(start_train,
                              stdout=subprocess.PIPE,
                              stderr=err_log, # write errors to a file
                              shell=True)
eval_proc = subprocess.Popen(start_eval,
                             stdout=subprocess.PIPE,
                             shell=True)

if train_proc.wait() == 0: # successfull termination
    os.killpg(os.getpgid(eval_proc.pid), subprocess.signal.SIGTERM)
# else, errors will be written to the 'err_log.txt' file
...