Рекомендуется ли масштабирование функций для AutoEncoder?

Question

Проблема:

Автоматический кодер с разбивкой применяется к набору данных с 25K строками и 18 столбцами, все значения с плавающей запятой. SAE используется для извлечения признаков с кодированием и декодированием.

Когда я тренирую модель без масштабирования, потеря составляет около 50 КБ, даже после 200 эпох. Но когда применяется масштабирование, потери составляют около 3 с первой эпохи.

Мои вопросы:

1. Рекомендуется ли применять масштабирование объектов, когда SAE используется для извлечения объектов

2. Влияет ли это на точность при декодировании?

Answer 1

1. За некоторыми исключениями, вы всегда должны применять масштабирование функций в машинном обучении, особенно при работе с градиентным спуском, как в SAE.Масштабирование ваших функций обеспечит гораздо более плавную функцию затрат и, следовательно, более быструю конвергенцию в глобальные (надеемся) минимумы.

Также стоит отметить, что ваши гораздо меньшие потери после 1 эпохи с масштабированием должны быть результатом гораздо меньших значений, используемых для вычисления потерь.

Нет