Вариационный автоэнкодер: должен ли кодер иметь такое же количество слоев, что и декодер? - PullRequest
Новая
       15

Вариационный автоэнкодер: должен ли кодер иметь такое же количество слоев, что и декодер?

0 голосов
/ 02 мая 2018

Должен ли кодер иметь такое же количество слоев, как и декодер, в Variational Autoencoder? Я получил немного лучший результат с кодером (Dense): 54-10-5-3 и Decoder (Dense): 3-5-10-25-35-45-54

Ответы [ 2 ]

0 голосов
/ 04 мая 2018

Вы задали отличный вопрос, и ответ - нет.

Поскольку Aldream уже указал несколько работ, в которых используется асимметричная архитектура, я хотел бы указать на теоретическую работу, связанную с вашим вопросом.

Я полагаю, что лучшее объяснение можно найти в документе конференции ICLR 2017: «Вариационный автокодер с потерями», Си Чен и др.

Раздел 2 является обязательным для чтения разделом. Автор связывает вариационный автоэнкодер с кодированием с обратной связью и показывает, что средняя длина кода (которая эквивалентна вариационной нижней границе) всегда имеет дополнительную длину кода при использовании приближенного апостериорного распределения. Когда декодер VAE (который имеет логарифмическое сходство p (x | z)) может моделировать данные без необходимости q (z | x), VAE игнорирует скрытую переменную!

Это означает, что если у нас очень сильный декодер (например, такое же количество слоев, как у кодера), то существует риск того, что VAE может полностью игнорировать обучение q (z | x), просто установив q (z | x) ) к предыдущему p (z), следовательно, сохраняет потери KL до 0.

Для получения более подробной информации, пожалуйста, прочитайте статью выше. На мой взгляд, подключение VAE к кодированию с обратной связью элегантно.

0 голосов
/ 02 мая 2018

Нет, нередко иметь асимметричные архитектуры, например [1, 2, 3 и т. Д.].

  1. Tang, Shuai, et al. «Изучение асимметричной структуры кодера-декодера для обучения представлению предложений на основе контекста». Препринт arXiv arXiv: 1710.10380 (2017). PDF

  2. ЛиНалисник, Эрик и Падрейк Смит. «Разбиваемые вариационные автоэнкодеры». Международная конференция по обучению представительств (ICLR). 2017. pdf

  3. Нэш, Чарли и Крис К.И. Уильямс. «Вариационный автоэнкодер формы: глубокая генеративная модель частично сегментированных трехмерных объектов». Форум компьютерной графики. Том 36. № 5. 2017. pdf

...