Как закодировать категориальную особенность с высокой кардинальностью?

Question

Я застрял в наборе данных, который содержит некоторые категориальные характеристики с высокой мощностью. как 'item_description' ... Я читал об одном трюке, называемом хешированием, но его основная идея все еще размыта и непонятна, я также читал о библиотеке под названием Feature Engine, но я действительно не нашел что-то, что могло бы решить мою проблему. Любые предложения, пожалуйста?

Answer 1

Вы можете посмотреть в category_encoders. Там у вас есть много разных кодировщиков, которые вы можете использовать для кодирования столбцов с большим количеством элементов в один столбец. Среди них есть так называемые байесовские кодеры, которые используют информацию из целевой переменной для преобразования данной функции. Например, у вас есть TargetEncoder, который использует байесовские принципы для замены категориального признака ожидаемым значением заданной цели, а затем значениями, которые принимает категория, что очень похоже на LeaveOneOut. Вы также можете проверить catboost на основе CatBoostEncoder, который является распространенным выбором для кодирования функций.