Не могли бы вы помочь мне понять условную энтропию в этом примере, в котором я застрял?
В примере рассматриваются, например, 4 одинаково популярных бинарных вектора; {f1, f2, f3, f4} каждый с F-битами энтропии. Предполагается, что пары {f1, f2} и {f3, f4} независимы, в то время как существуют корреляции между f1 и f2 и между f3 и f4.
Теперь они упомянули, что «В частности, H (f1 | f2) = H (f2 | f1) = F / 4 и H (f3 | f4) = H (f4 | f3) = F / 4».
Мой вопрос, как ответ F / 4? И почему это так очевидно?
Я понимаю, что, поскольку эти векторы одинаково популярны, вероятность выбора каждого из них составляет 1/4. и поскольку пары {f1, f2} и {f3, f4} независимы, поэтому вероятность выбора каждой пары равна 1/2. поэтому я думаю, что условная энтропия H (f1 | f2) = H (f2 | f1), например, должна быть F / 2, а не F / 4. Может ли кто-нибудь помочь мне понять ответ? почему это F / 4?