Является ли этот алгоритм регрессии оригинальным и эффективным?

Question

У меня была идея для алгоритма нелинейной регрессии, которого я раньше не видел:

Мы подгоняем простую параметрическую функцию, такую ​​как радиальная базисная функция, к данным с использованием градиентного спуска,Мы находим остаток от этого и затем подгоняем функцию к этому, повторяя этот процесс, чтобы уменьшить ошибку и создать коллекцию наложенных функций.(Я предполагаю, что поиск можно убедить, чтобы найти функции, которые в первую очередь соответствуют большинству точек)

Как представлено, этот алгоритм будет более подходящим.Я думаю, что есть несколько способов преодолеть это, но, вероятно, наиболее очевидным является ограничение количества устанавливаемых функций.

Я думаю, что это должно быть быстрее, чем нейронная сеть или сеть rbf, потому что ей не нужно настраивать столько параметров одновременно.Нет сетевой архитектуры на выбор.Он должен быть более точным, чем алгоритм дерева решений, такой как M5, потому что он может более точно следовать непрерывной кривой и не должен выбирать атрибуты для разделения.

Пробовал ли он раньше?Если так, то почему это не удалось?

Answer 1

Это определенно вопрос для http://metaoptimize.com/qa - клона stackoverflow для сообщества машинного обучения.

Кроме того, процедура, которую вы описываете, является в основном способом регуляризации. Например, рассмотрите, как ваша процедура сравнивается с использованием миллионов RBF с регрессионным термином L1 или L2. Очевидно, это отличается только тем, как работает регрессионный термин. То, что вы в основном делаете, это регуляризация только по количеству ненулевых весов вместо суммы или квадрата.

Этот метод регуляризации не нов, люди давно пытаются это сделать эффективно, но проблема в том, что он не выпуклый и даже не непрерывный. Это означает, что оптимизация вообще NP-Hard. Ваш метод в основном является алгоритмом аппроксимации для этой задачи, и, хотя он может работать на некотором примере, у вас не будет никаких гарантий оптимальности (поиск «наилучших» подходящих значений), и он будет очень чувствительным к выбранной вами начальной точке. , Именно по этим причинам вы обычно не видите исследовательских работ в ведущих конференциях и журналах, где это делается, а скорее пытаетесь более эффективно использовать L1-регуляризацию, поскольку было доказано, что это настолько близко, насколько это возможно, при сохранении выпуклости.

Answer 2

Идея итеративного подбора функции на основе вычетов не нова. Например, см. AdaBoost .

Answer 3

Зафиксировав параметры функций, установленных на шагах 1..n, при подгонке параметров функции n+1 вы, скорее всего, найдете МЕДШЕЕ соответствие (как, например, определяется среднеквадратичной ошибкой), чем вы бы подобрали все n+1 функции одновременно.Таким образом, вам, вероятно, понадобится больше функций для достижения той же среднеквадратичной ошибки в вашем предложении, по сравнению с тем, чтобы все функции n+1 были «плавающими» одновременно. Перекрестная проверка , например, прекратите добавлять функции, как только среднеквадратичная ошибка на тестовом образце, не используемом в подгонке, перестанет уменьшаться.