Превосходит ли импульсная (пиковая) нейронная сеть рекуррентную нейронную сеть?

Question

И импульсные, и периодические нейронные сети могут моделировать изменяющуюся во времени информацию. Но я не уверен, какая модель лучше по сравнению с вычислительными затратами. Стоит ли использовать более сложную нейронную сеть с пулей или же рекуррентная нейронная сеть будет работать так же хорошо с гораздо меньшими вычислениями? Импульсная сеть сходится быстрее?

Спасибо

Answer 1

Я не верю, что вы смотрите на проблему правильно.Наиболее важным свойством нейронной сети (или любой прогнозирующей модели) является ее точность.Я предпочел бы потратить в 10 раз больше времени на построение модели, если бы она была значительно более точной (и прогнозирующей).

Существует много стандартных методов оценки силы прогнозирования вашей модели, например
* оставьте-перекрестная проверка по принципу «один выход»
* перекрестная проверка по принципу «пропущено много раз»
* рандомизация по Фишеру (http://en.wikipedia.org/wiki/Ronald_Fisher)

) Существует также много руководящих принципов для построения прогностической модели, например
*бритва occam
* избегать переоснащения (http://web.engr.oregonstate.edu/~tgd/classes/534/slides/part10.pdf)
* штрафы за переоснащение (http://en.wikipedia.org/wiki/Regularization_(mathematics))

Вот несколько мест, где можно найти дополнительную информацию
http://predictivemodelingblog.blogspot.com/
http://www.statsoft.com/textbook/data-mining-techniques/

Итог: выберите простейшую модель, которая может объяснить ваши данные

Answer 2

Позвольте мне попытаться ответить на первоначальный вопрос, который был специфичен для работы с шипами нейронных сетей. Я только недавно начал знакомиться с шипованными сетями, но на сегодняшний день лучший комментарий, который я нашел к их производительности, - это монография Элен Паугам-Моиси и Сандера Бохта «Вычисления с шипами нейронных сетей», которая доступна без платного доступа здесь и другие сайты.

Из этого источника выясняется, что в целом они работают хорошо в смысле своих врожденных способностей; Шиповые сети являются универсальными аппроксиматорами и, как некоторые из их родственников среди обычных нейронных сетей, их «вычислительная мощность превосходит машину Тьюринга». (стр. 5, Паугам-Муази и Бохте). На самом деле, для шипящих нейронов типа B Вольфганг Маасс «заключает, что шипящие нейронные сети вычислительно более мощны, чем 1-е и 2-е поколения нейронных сетей», то есть семейство персептронов и класс сетей с непрерывной активацией (с. 21, Паугам-Муази и Бохте). С другой стороны, они подвержены проблеме загрузки, которая может быть NP-Complete при определенных условиях, обсуждаемых в документе.

С точки зрения вычислительной производительности, различные подтипы шипованных сетей сильно различаются по потребностям в ресурсах. На стр. 12, 14-15 Паугам-Муази и Бохте кратко описывают некоторые различия в процессах обработки:

"Модель Ходжкина-Хаксли (HH) реалистична, но слишком сложна для моделирования SNN. Хотя ODE9 решатели могут быть применены непосредственно к системе дифференциальных уравнений, было бы трудно вычислить временные взаимодействия между нейронами в большая сеть моделей Ходжкина-Хаксли. "

"... Диапазон сложности также может быть выражен через вычислительные требования для моделирования. Поскольку он определяется четырьмя дифференциальные уравнения, модель Ходжкина-Хаксли требует около 1200 вычисления с плавающей запятой (FLOPS) за 1 мс моделирования. Упрощено до два дифференциальных уравнения, модели Морриса-ЛеКара или Фитца-Хью-Нагумо все еще имеют вычислительную стоимость от одного до нескольких сотен FLOPS. Только Для модели LIF требуется 5 FLOPS, около 10 FLOPS для вариантов такие как LIF-с адаптацией и квадратичной или экспоненциальной Нейроны Интегрируй и Огонь и около 13 Флопс для Ижикевича модель. "

Как и ожидалось, существует компромисс между вычислительными возможностями и этими вычислительными затратами; LIF может потребовать несколько FLOPS, но позже в статье они подробно описывают, как он не способен достичь точности, которой обладают другие пики. На вычислительные требования также будет сильно влиять способ кодирования шиповых сетей (что я собираюсь сделать сам, но пока еще не имел возможности экспериментировать). На стр. 38-39 Паугам-Муази и Боте настоятельно рекомендуют использовать архитектуру, управляемую событиями, которая может максимально использовать параллелизм. Я также рекомендовал бы проверить их обширную библиографию, которая, я уверен, может привести к десяткам других практических советов по производительности. Я надеюсь, что это помогает.