как реализовать функцию ssim для потерь в керасе?

Question

Мне нужен SSIM в качестве функции потери в моей сети, но моя сеть имеет 2 выхода. Мне нужно использовать SSIM для первого вывода и cross-entropy для следующего. Функция потерь является их комбинацией. Однако мне нужно иметь более высокий SSIM и более низкий cross-entropy, поэтому я думаю, что их комбинация не соответствует действительности. Другая проблема заключается в том, что я не смог найти реализацию SSIM в keras.

Tensorflow имеет tf.image.ssim, но он принимает изображение, и я не думаю, что смогу использовать его в функции потерь, верно? Не могли бы вы сказать мне, что мне делать? Я новичок в keras и глубоком обучении, и я не знаю, как я могу сделать SSIM в качестве пользовательской функции потери в keras.

Answer 1

Посмотрите здесь потери SSIM в Керасе.Вы можете написать собственную функцию потерь и создать потери SSIM для одного прогноза и перекрестную энтропию для другого.Вы можете вернуть взвешенную сумму двух потерь в качестве окончательной потери.