Содержит ли ELBO информацию о потерях при реконструкции в вариационных автоэнкодерах?

Question

Это связанный с этим вопрос - Вариационный автоэнкодер и реконструкция Log Вероятность vs Ошибка реконструкции

Я пытаюсь понять, как оптимизируются вариационные автоэнкодеры. Я прочитал математику, стоящую за этим, и я думаю, что понимаю общую концепцию вариационного вывода и трюк репараметризации, используемый для скрытого пространства.

Я видел примеров , где вход и выход сравниваются друг с другом с использованием кросс-энтропии, а дивергенция KL находится на скрытых переменных. И тогда эта потеря сводится к минимуму.

С другой стороны, есть другие примеры , которые используют вероятности логарифма и дивергенцию KL для генерации нижней границы свидетельства (ELBO). Тогда минус значения ELBO сводится к минимуму.

В обоих случаях скрытое пространство разделено на основе шаблонов входных данных (например, чисел в MNIST). Поэтому мне интересно, содержит ли ELBO информацию, аналогичную потере реконструкции.

Answer 1

Краткий ответ - Да. ELBO на самом деле является гладкой целевой функцией, которая является нижней границей логарифмической вероятности.

Вместо максимизации log p (x), где x - наблюдаемое изображение, мы выбираем максимизацию log p (xlz) + KL (q (zlx) ll p (z)), где z - выборка из кодера q (zlx). ). Мы делаем это, потому что легче оптимизировать ELBO, чем log p (x).

Тогда термин p (xlz) является отрицательной ошибкой восстановления - мы хотим максимизировать подобие x с учетом скрытой переменной z. Для первого примера: p (xlz) - это гауссово распределение с дисперсией 1.

Второй пример: p (xlz) - это распределение Бернулли, поскольку цифра Mnist является черно-белой. Мы можем смоделировать каждый пиксель как яркость.

Надеюсь, это поможет!