Взвешенные особенности в машинном обучении

Question

Я новичок в машинном обучении.Таким образом, любая помощь или предложение будут иметь большую помощь.

Я читал, что взвешивание функций и прогнозирование - очень плохая идея.Но что делать, если нужно взвешивать несколько объектов?

В задаче классификации, скажем, общепринято, что возраст является наиболее зависимым, как мне определить вес этой функции.Я думал нормализовать его, но с дисперсией 1,5 или 2 (другие функции с дисперсией 1) я считаю, что эта функция будет иметь больший вес.Это в корне неправильно?Если не так, любой другой метод.

По-разному ли это влияет на задачи классификации и регрессии?

Answer 1

Если мы говорим конкретно о случайных лесах (как вы пометили), то вы можете использовать алгоритм случайного леса Взвешенного подпространства (в пакете R wsrf).Алгоритм определяет вес для каждой переменной и затем использует их при построении модели.

Информативность переменной по отношению к классу измеряется коэффициентом прироста информации.Мера используется как вероятность выбора этой переменной для включения в подпространство переменных при разбиении определенного узла во время процесса построения дерева.Следовательно, переменные с более высокими значениями по мере более вероятны при выборе переменных в качестве кандидатов, и можно построить более сильное дерево.

Answer 2

Как правило, если функция имеет большее значение по сравнению с другими функциями, а модель достаточно плотная, с достаточным количеством обучающей выборки, ваша модель автоматически придаст ей большее значение, оптимизируя весовые матрицы, чтобы учесть это, поскольку у нас есть частные производные в обратном распространении.которые рассчитывают изменения для каждого соединения, поэтому он учится придавать большее значение этой функции для себя.Если вы не нормализуете его, а масштабируете его до более высокой шкалы, возможно, вы преувеличиваете, это важно.

На практике нейронная сеть работает лучше всего, если входы центрированы и имеют белый цвет.Это означает, что их ковариация диагональна, а среднее - это нулевой вектор.Это улучшает оптимизацию нейронной сети, поскольку скрытые функции активации не насыщают так быстро и, таким образом, не дают почти нулевых градиентов на ранних этапах обучения.

Если вы масштабируете только одну функцию маленькимзначение, оно может иметь или не иметь желаемого эффекта, но более высокая вероятность имеет насыщенные градиенты, поэтому мы избегаем этого.