Одна сеть - несколько выходов или несколько сетей - один выход?

Question

При проектировании нейронной сети с прямой связью с несколькими выходами, существует ли концептуальное различие (кроме вычислительной эффективности) между наличием одной сети с несколькими выходами и несколькими сетями, каждая из которых имеет один выход?

Хотя выходные нейроны в одной и той же сети не влияют друг на друга «на лету», они влияют на обучение, поскольку ошибка каждого выходного сигнала распространяется обратно и влияет на вес скрытого слоя, что, в свою очередь, влияет на значение другие выходы.

Есть ли проблемы, которые лучше решить в любом случае? Интуитивно, я бы сказал, что одна сеть лучше подходит для задач, где одновременно должен быть активен только один выход (например, OCR), где несколько сетей лучше подходят для задач, где несколько выходов могут быть активными одновременно (т.е. когда каждый выход соответствует некоторой характеристике на входе, где несколько из них могут присутствовать одновременно). Но это просто интуиция. Практически держит?

Answer 1

Концептуальное различие, как вы сами отметили, - совместное обучение против отдельного обучения. Я думаю, что люди находят, что в большинстве случаев совместное обучение помогает, если проблемы связаны (например, если все результаты о распознавании персонажей). Поэтому я думаю, что в обеих задачах, о которых вы упомянули, совместное обучение поможет, независимо от того, могут ли одновременно быть активными несколько выходов.

Случай, когда совместное обучение не поможет и, вероятно, повредит, - это когда задачи вообще не связаны, например, если один вывод о «символе а», а другой о «звуке х».