Обратное распространение через числовое обратное - Воспроизводимость Резендеса "Нормализующие потоки на торах и сферах" - PullRequest
0 голосов
/ 06 апреля 2020

Для проекта я пытаюсь воспроизвести части работы из статьи "Нормализация потоков на торах и сферах ".

Обновление плотности в соответствии с формулой изменения переменных задается как здесь , где f преобразует выборки из базовой плотности pi в нашу целевую плотность.

авторы предлагают потоки Мёбиуса для f, которые параметризованы некоторым вектором w, который сам моделируется простой нейроной net. Таким образом, f зависит от w, которое само зависит от набора параметров NN.

Если я теперь хочу выполнить максимизацию правдоподобия, нам нужно получить градиенты вероятности p (x) и, в частности, также градиенты f ^ -1 (x), поскольку этот термин появляется при смене переменных формула.

Здесь я не знаю, как поступить: в конце раздела 2.1.1 авторы утверждают, что f аналитически не обратим, но численно с поиском по бисекции. Но, насколько я понимаю, мы не можем использовать автоматическое дифференцирование c для численно полученных функций.

Есть ли способ сделать это, и у меня просто ошибка в моем мыслительном процессе? Если это не так, может ли кто-нибудь объяснить мне, как авторы могли бы выполнить оптимизацию вероятности?

...