Какую стратегию я должен использовать для обучения многоотраслевой (не параллельной) нейронной сети?

Question

есть.

У меня есть сеть с 2 ответвлениями, а средний выход 1 ответвления является входом другого. Как показано на рисунке. 1. Тренировка Net_D сначала, потом тренировка Net_C.

# Train Net_D first.
loss_d = criterion_d(out_d,label_d)
loss_d.backward()
optimizer_d.step()
# Train Net_C
loss_c = criterion_d(out_c,label_c)
loss_c.backward()
optimizer_c.step()

2. Использование только 1 потери.

loss_d = criterion_d(out_d,label_d)
loss_c = criterion_d(out_c,label_c)
loss = loss_d+loss_c
loss.backward()
optimizer.step()