Работа с множественными потерями и их весами в кератах

Question

Обучение модели GAN с использованием train_on_batch с множественными потерями, могу ли я использовать случайное loss_weights при составлении модели или есть какая-то конкретная стратегия использования этих весов потерь, как упоминалось Здесь . В моей задаче mean_sqaured_error - это функция потерь для генерируемых изображений и original_image, а binary_crossentropy - функция потерь классификации для классов 0 и 1.

model.compile(optimizer=optimizer, loss=['mean_squared_error', 'binary_crossentropy'], loss_weights=[100,1])

Answer 1

Вес - это гиперпараметры, которые необходимо оптимизировать. Обратите внимание, что оптимизация этих гиперпараметров не проста из-за того, что снижение весов автоматически уменьшит потери (которые мы обычно стремимся минимизировать), но не обязательно создаст лучшую модель. MSE может варьироваться между [0, бесконечность), если не нормирован, или, например, [0, 1], если характеристики нормированы между [0,1] (и используется сигмовидная кишка). Двоичные значения кросс-энтропии могут варьироваться между [0, бесконечность), что делает процесс не таким простым, как мы можем подумать. Не зная вашей конкретной проблемы, я сначала попытаюсь использовать веса по умолчанию (1 каждый).