Tensorflow - Может ли вектор One-Hot воздействовать на обучение модели

Question

Прошу прощения за мое английское выражение.Это трудно для меня ..

У меня есть нейронная сеть с функциями, которые находятся в массиве np, и непосредственно перед преобразованием модели мои функции хранятся в тензорном файле.Форма (4000, 6), потому что у меня есть 6 различных функций

Я добавляю функцию словаря.Я преобразовываю его в вектор с одним горячим вектором и преобразую в тензор, чтобы форма этого результата была (4000, 243).

Непосредственно перед тренировкой я объединяю эти два тензора, чтобы получить тензор результата с формой (4000, 249).

Мне интересно, повлияет ли это на мое обучение (6 функций и еще одна закодированы в 243 записях в тензоре).Я волнуюсь из-за того, что нейронная сеть будет применяться.

Это проблема, или у моих 6 первых функций будет наилучшая связь по сравнению с 243 другими записями в тензоре?

Большое спасибо за ваш ответ и вашу помощь.

Answer 1

Да, ваши опасения верны, если одна горячая кодировка для одной из функций при представлении модели будет плохой, она будет иметь тенденцию расставлять приоритеты для различных функций, теперь то, какие функции будут иметь приоритет, зависит от нескольких критериев.

Случай 1: вы нормализовали другие входы, чтобы они находились в диапазоне от 0 до 1. В этом случае функция, представленная как горячее кодирование, будет доминировать в прогнозе моделей.

Случай 2: Вы не нормализовали другиеВходы, это уже будет иметь катастрофические последствия, но оно будет противостоять огромным эффектам от одного горячо закодированного вектора.

Ни один из них не будет идеальным для сценария машинного обучения, я предлагаю вам удалить одно горячее кодированиеэтой функции, а затем нормализует набор данных и только затем обучает вашу модель, это гарантирует, что все ваши функции влияют на обучение, основываясь на их участии в прогнозировании выходных данных, и не будут смещены в сторону какой-либо конкретной функции.

Если у вас есть какие-либо вопросы или не удаетсяпонять логику чего-либо, не стесняйтесь комментировать.