Выбор фетуры, когда число функций слишком велико для доступной памяти - PullRequest
0 голосов
/ 27 мая 2018

Я работаю с набором данных с около 200 000 функций.Несмотря на то, что я могу загрузить полный набор данных, используя 54 ГБ памяти, моя модель дает сбой при выборе функции с помощью LASSO.Я предпочитаю находить лучшие функции из всех, но из-за нехватки памяти это, кажется, не вариант.

В качестве решения я подумал об использовании управляемых пакетов функций и нашелфункций с наивысшей корреляцией / взаимной информацией Пирсона с целевой переменной, или используйте выбор функций на основе модели в этих пакетах функций.

Но я чувствую, что описанная выше процедура не предоставит мне лучшие функции.

Есть ли другой способ уменьшить пространство функций в такой ситуации?

...