Как узел смещения интегрирован в NEAT?

Question

В NEAT вы можете добавить специальный входной узел смещения, который всегда активен. Относительно реализации такого узла в оригинальной статье не так много информации. Теперь я хочу знать, как должен вести себя узел смещения, если вообще существует консенсус.

Итак, вопрос:

• Происходят ли соединения от узла смещения во время эволюции и может быть разделен для новых узлов так же, как обычные соединения, или у узла смещения всегда есть соединения со всеми не входными узлами?

Answer 1

Чтобы ответить на мой собственный вопрос: Согласно странице пользователей NEAT Кеннет О. Стэнли говорит о том, почему смещение в NEAT используется в качестве дополнительного входного нейрона:

Почему NEAT использует узел смещения вместо того, чтобы иметь параметр смещения в каждом узле?

В основном потому, что не все узлы нуждаются в смещении. Таким образом, было бы излишне увеличивать пространство поиска для поиска правильного смещения для каждого узла в системе. Вместо этого мы позволяем эволюции решать, какие узлы нуждаются в смещениях, подключая узел смещения к этим узлам. Эта проблема не является серьезной проблемой; это может работать в любом случае. Вы можете легко закодировать смещение в каждом узле и попробовать это.

Поэтому я думаю, что вход BIAS обрабатывается как любой другой вход в NEAT, с той разницей, что он всегда активен.