Что такое сетевой аналог рекурсивной функции? - PullRequest
3 голосов
/ 20 июня 2011

Это амбициозный вопрос научной конференции Wolfram Science: существует ли такая вещь, как сетевой аналог рекурсивной функции ? Может быть, это своего рода итеративный шаблон "map-Reduce"? Если мы добавим взаимодействие к итерации, все станет сложнее: непрерывная итерация большого количества взаимодействующих объектов может привести к очень сложным результатам. Было бы неплохо иметь возможность увидеть последствия множества взаимодействий, которые определяют сложную систему. Можем ли мы найти аналог рекурсивной функции в итерационной сети связанных узлов, которые содержат вложенные циклы распространения?

Одним из основных шаблонов распределенных вычислений является Map-Reduce: его можно найти в Cellular Automata (CA) и Neural Networks (NN). Нейроны в NN собирают информацию через свои синапсы (уменьшают) и отправляют ее другим нейронам (карта). Ячейки в CA действуют аналогично, они собирают информацию от своих соседей (сокращают), применяют правило перехода (уменьшают) и снова предлагают результат своим соседям. Таким образом,> если <существует сетевой аналог рекурсивной функции, то Map-Reduce, безусловно, является его важной частью. Какие существуют итеративные шаблоны "map-Reduce"? Приводят ли определенные виды шаблонов «уменьшение карты» к определенным видам потоков или даже вихрей или вихрей? Можем ли мы сформулировать исчисление для шаблонов уменьшения карты? </p>

1 Ответ

2 голосов
/ 30 июня 2011

Я попытаюсь ответить на вопрос о рекурсии в нейронных сетях, но на самом деле я не понимаю, как сокращение карты вообще влияет на это.Я понимаю, что нейронная сеть может выполнять распределенные вычисления, а затем сокращать их до более локального представления, но термин map-redu * - это очень специфическая марка этого распределенного / локального трубопровода, в основном связанная с Google и Hadoop.

В любом случае, простой ответ на ваш вопрос заключается в том, что не существует общего метода рекурсии в нейронных сетях;на самом деле, очень связанная с этим более простая проблема реализации связываний ролей-значений общего назначения в нейронных сетях в настоящее время остается открытым вопросом.

Общий принцип, почему такие вещи, как связывание ролей и рекурсия в нейронных сетях (ANN)настолько сложны, что ИНС очень взаимозависимы по своей природе;на самом деле именно отсюда вытекает большая часть их вычислительной мощности.Принимая во внимание, что вызовы функций и привязки переменных являются очень четкими операциями;то, что они включают, является делом «все или ничего», и эта дискретность во многих случаях является ценным свойством.Таким образом, реализация одного внутри другого без ущерба для вычислительной мощности действительно очень сложна.

Вот небольшая выборка статей, в которых пробуются частичные решения.К счастью для вас, очень многие люди находят эту проблему очень интересной!

Визуальная сегментация и проблема динамического связывания: повышение надежности искусственного нейронного сетевого классификатора планктона (1993)

Решение проблемы связывания для композиционного коннекционизма

A (Несколько) Новое решение проблемы связывания

...