Предельная плотность дискретных точек (LDDP) в python - PullRequest
0 голосов
/ 04 августа 2020

Энтропия Шеннона из теории информации измеряет неопределенность или беспорядок в эмпирическом распределении дискретной случайной величины, в то время как дифференциальная энтропия измеряет ее для непрерывной rv. плотность дискретных точек (LDDP). Вычисляет ли scipy или другой LDDP? Как я могу оценить LDDP в python?

1 Ответ

2 голосов
/ 04 августа 2020

Поскольку LDDP эквивалентен отрицательной KL-дивергенции от вашей функции плотности m (x) к вашему распределению вероятностей p (x), вы можете использовать одну из многих реализаций KL-дивергенции, например, из scipy.stats.entropy.

Подходящая процедура (при условии, что у вас есть конечная поддержка) состоит в том, чтобы аппроксимировать непрерывное распределение дискретным путем выборки по его опоре и вычисления дивергенции KL.

Если это невозможно, тогда ваш единственный вариант, который я могу придумать, - это, вероятно, использовать численные (или, возможно, аналитические c?) методы интегрирования, которых у вас должно быть много. Легким первым шагом было бы попробовать методы Монте-Карло.

...