Ограничен ли алгоритм HTM кортикального обучения, определенный в работе Нумента, евклидовой геометрией?

Question

В частности, их самая последняя реализация.

http://www.numenta.com/htm-overview/htm-algorithms.php

По сути, я спрашиваю, могут ли неевклидовы отношения или отношения в шаблонах, которые превышают размерность входных данных, быть эффективно выведены алгоритмом в его нынешнем состоянии?

HTM использует евклидову геометрию для определения «соседства» при анализе паттернов. Последовательный ввод данных приводит к тому, что алгоритм демонстрирует прогнозирующее поведение, а длина последовательности практически не ограничена. Этот алгоритм очень хорошо учится, но мне интересно, способен ли он выводить нелинейные атрибуты из своих входных данных.

Например, если вы введете весь набор текстов из проекта Гутенберга, он будет использовать набор вероятностных правил, которые включают в себя правописание английского языка, грамматику и очевидные особенности предмета, такие как гендерные ассоциации с слова и так далее. Это линейные отношения первого уровня, которые можно легко определить с помощью вероятностей в логической сети.

Нелинейное отношение - это ассоциация предположений и следствий, таких как «Время летит как стрела, плод летит как банан». Если правильно сформулировано, неоднозначность предложения вызывает предиктивное толкование предложения, чтобы генерировать много возможных значений.

Если алгоритм способен «понимать» нелинейные отношения, то он сможет обработать первую фразу и правильно определить, что «время летит» говорит о том, что время делает что-то, а «плодовые мухи» - тип ошибки .

Ответ на вопрос, вероятно, прост, но я не могу решить ни один из способов. Предотвращает ли преобразование входных данных в однородную, 2-мерную евклидову плоскость ассоциацию нелинейных атрибутов данных?

Если это не предотвращает нелинейные ассоциации, то я предполагаю, что вы могли бы просто изменить разрешение, повторение и другие входные атрибуты, чтобы автоматизировать обнаружение нелинейных отношений - фактически добавив процесс «сложнее думать» алгоритм.

Answer 1

Из того, что я понимаю о HTM, структура слоев и столбцов имитирует структуру неокортекса.См. Приложение B здесь: http://www.numenta.com/htm-overview/education/HTM_CorticalLearningAlgorithms.pdf

Таким образом, краткий ответ будет таким: мозг может понять нелинейное явление с помощью этой структуры, как и HTM.

Начальный, мгновенный сенсорный вводдействительно отображается в 2D-области в HTM.Это не ограничивает HTM работой с двумерными представлениями, так как одномерная строка битов ограничена представлением только одномерных вещей.Это просто способ кодирования материала, чтобы можно было формировать разреженные распределенные представления и использовать их эффективность.

Чтобы ответить на ваш вопрос о Project Gutenberg, я не думаю, что HTM действительно поймет язык безсначала понимание физического мира, на котором основан язык и создающего символы.Тем не менее, это очень интересная последовательность для HTM, поскольку предсказания делаются только в одном направлении, и в некотором смысле понимание того, что происходит с фруктами, идет в обратном направлении.то есть я вижу шаблон «летит как а» и предполагаю, что фраза относится к фруктам так же, как и ко времени.HTM сгруппируют последующий ввод (слова в данном случае) вместе на более высоких уровнях, поэтому, если вы использовали нечеткую группировку (возможно), как показал Дэвид Мальтони, то две половины предложения могут быть сгруппированы в одно и то же представление высокого уровняи обратная связь может быть отправлена ​​вниз, связывая два конкретных предложения.Нумента, насколько я знаю, пока что не слишком много сделал с сообщениями обратной связи, но это определенно часть теории.

Answer 2

Программное обеспечение, которое запускает HTM, называется NuPIC (платформа Numenta для интеллектуальных вычислений).Область NuPIC (представляющая область неокортекса) может быть сконфигурирована для использования топологии или нет, в зависимости от типа данных, которые она получает.

Если вы используете топологию, обычная настройка сопоставляет каждый столбец с набором входов, который центрируется на соответствующей позиции во входном пространстве (соединения будут выбираться случайным образом в соответствии с распределением вероятности, которое благоприятствует центру),Компонент NuPIC, распознающий пространственные структуры, известный как Spatial Pooler (SP), затем научится распознавать и представлять локализованные топологические особенности в данных.

Нет абсолютно никаких ограничений на "линейность" входных данных, которые NuPIC может изучить.NuPIC может изучать последовательности пространственных структур в чрезвычайно многомерных пространствах и ограничивается только наличием (или отсутствием) пространственной и временной структуры в данных.

Чтобы ответить на конкретную часть вашего вопроса, даNuPIC может изучать неевклидовы и нелинейные отношения, поскольку NuPIC не является и не может моделироваться линейной системой.С другой стороны, кажется логически невозможным вывести отношения размерности, которая превышает размерность данных.

Лучшее место, чтобы узнать о HTM и NuPIC, его реализации с открытым исходным кодом, находится в NuPIC веб-сайт сообщества (и список рассылки).

Answer 3

хорошо, ребята, не глупите, htms просто скопируйте данные в них, если вы хотите концепцию, она будет группой данных, и тогда у вас может быть мотор зависит от отношения, и тогда все это работает.

наша кора, вероятно, намного лучше и на самом деле генерирует новые изображения, но компьютерная кора НЕ БУДЕТ, но, как это бывает, это не имеет значения, и она уже очень и очень полезна.

но рисовать понятия из пула данных довольно сложно, самый простой способ сделать это - записать неизменную комбинацию своих чувств, а когда она возникнет, связать с ней все остальное, это даст вам организм или животное как интеллект.

рисование более жестких отношений, то, что люди делают, и его специальная логика, представьте набор, объясняющий самые специальные отношения, и затем он постепенно становится все более и более конкретным, пока не достигнет точных моторных программ ... и все знание, которым вы обладаете, - это управление вашим двигателем и создание отношений, которые запускают пути в коре головного мозга и сообщают ему, куда идти, с помощью поиска взрыва, который проверяет весь двигатель и находит наиболее успешный запуск.

Вау, это было глотком, но будьте осторожны с пустышками, вы не получите никаких понятий от прогнозирующего ассимилятора, которым является htm, если вы не разберетесь, как люди рисуют отношения в пуле данных, как машина, и если вы сделать это, как программа, которая сама программирует.

без дерьма.

Answer 4

Да. HTM использует евклидову геометрию для соединения синапсов, но это только потому, что она имитирует биологическую систему, которая посылает дендриты и создает соединения с другими соседними клетками, которые имеют сильную активацию в этот момент времени.

Алгоритм коркового обучения (CLA) очень хорошо подходит для прогнозирования последовательностей, поэтому было бы хорошо определить «время летит как стрелка, плод летит как« и предсказать »банан», если он встречал эту последовательность раньше или что-то близкое к ней,Я не думаю, что из этого можно сделать вывод, что плодовая муха - это разновидность насекомого, если вы не обучили ее этой последовательности.Таким образом, T для временного.HTM - это компрессоры и извлечения ассоциации последовательностей (форма памяти).Чтобы получить паттерн из HTM, вы играете в последовательности, и он будет соответствовать наиболее сильному представлению, с которым он когда-либо встречался, и предсказывать следующие биты последовательности.Кажется, это очень хорошо для этого, и основное приложение для HTM сейчас - это предсказание последовательностей и аномалий из потоков данных.

Чтобы получить более сложные представления и больше абстракции, вы должны каскадировать выходные данные обученных HTM в другойHTMs вводит наряду с некоторыми другими новыми входами на основе последовательности, чтобы коррелировать с.Я полагаю, что вы могли бы подключиться к некоторой обратной связи и сделать некоторые другие трюки для объединения нескольких HTM, но сначала вам нужно будет много потренироваться на примитивах, как это делает ребенок, прежде чем вы когда-либо получите что-то столь же сложное, как связывание концепций, основанных на синтаксисеписьменное слово.

Answer 5

Да, это может быть нелинейным. В основном это многослойный. И все многослойные нейронные сети могут выводить нелинейные отношения. И я думаю, что соседство рассчитывается на месте. Если он вычисляется локально, то в глобальном масштабе он может быть кусочно-нелинейным, например, посмотрите на Локальное линейное вложение.