Дифференциальная энтропия в python

Question

scipy.stats.entropy - это (Шеннона) энтропия для дискретных случайных величин, но он не вычисляет дифференциальную энтропию для непрерывных случайных величин, насколько я могу судить. Где и как я могу реализовать дифференциальную энтропию в python?

Answer 1

В любом случае вам нужно сохранить непрерывную случайную величину параметризованным способом, если вы не работаете с приближением. В этом случае вы обычно работаете с объектами распределения; а для известных распределений существуют формулы для дифференциальной энтропии в терминах параметров.

Scipy соответственно предоставляет entropy метод для rv_continuous, который вычисляет дифференциальную энтропию, где это возможно:

In [5]: import scipy.stats as st                                                                                                                             

In [6]: rv = st.beta(0.5, 0.5)                                                                                                                               

In [7]: rv.entropy()                                                                                                                                         
Out[7]: array(-0.24156448)

Answer 2

Фактический вопрос здесь в том, как сохранить непрерывную переменную в памяти. Вы можете использовать некоторые методы дискретизации и вычислить энтропию для дискретной случайной величины.

Вы также можете проверить Tensorflow Probability , который рассматривает распределения по существу как тензоры и имеет метод entropy() для Distribution класс.