У меня есть старомодный, но запутанный вопрос о Оценка взаимной нейронной информации (MINE), ICML 2018 года.
В статье нижняя граница взаимной информации оценивается с помощью нейронной-нет-параметризованная функция (то, что называется статистической сетью), и были проведены различные эксперименты, включая информационное узкое место, которое уменьшает I (X; Z).
Это очень хорошо написано с теоретической подготовкой, но я застрял с переопределением результатов IB ;К сожалению, статья не содержит полной информации о разделе IB;Поэтому, если у вас есть какой-либо опыт использования MINE для сокращения взаимной информации, было бы очень приятно, если бы вы поделились этим опытом. После создания этой статьи я создал статистическую сеть и оптимизировал статистическую сеть, применяя ее оценочную нижнюю границу MI к регуляризатору I (X; Z). Тем не менее, это даже немного недооценивается Ванилой FCN (я успешно переопределил Deep Variational Information Bottleneck, который является основой MINE)
Кроме того, я не до конца убежден, как такая оценка нижней границы MIмодели прекрасно подходят для уменьшения проблем с инфарктом миокарда; Гарантирует ли уменьшение «приблизительной» нижней границы инфаркта миокарда практическое снижение инфаркта миокарда? Я думаю, что оптимизация оценки МИ при одновременном снижении такой оценки нижней границы МИ может быть нестабильной;как GAN, это может быть своего рода тренировка minmax. Как вы к этому относитесь?