Как Niftynet справляется с обучением с использованием нескольких графических процессоров?

Question

Я использую Niftynet для обучения CNN с использованием 2 графических процессоров.Как я понимаю, каждый GPU обучается независимо, так как я получаю два значения потерь за итерацию.Объединяются ли результаты обоих графических процессоров во время вывода?Раньше я считал, что использование нескольких gpus сокращает время обучения, но в Niftynet это не так.

Answer 1

Да, правильно.Это уменьшает время обучения в моем случае.Обратите внимание, что размер пакета удваивается при использовании нескольких графических процессоров.

Например, если ваш batch size = 2, после использования нескольких графических процессоров это означает, что у каждого графического процессора будет batch size = 2.Таким образом, ваш окончательный размер партии будет 4.