Может ли кто-нибудь привести пример, чтобы проиллюстрировать какие-то числовые ошибки, вызванные небольшой дисперсией в Python?

Question

" sklearn / naive_bayes .py" говорит

    # If the ratio of data variance between dimensions is too small, it
    # will cause numerical errors. To address this, we artificially
    # boost the variance by epsilon, a small fraction of the standard
    # deviation of the largest dimension.

Может ли кто-нибудь привести пример для иллюстрации такого рода числовых ошибок, вызванных малой дисперсией?

Answer 1

Наивный Байес работает с вероятностями. Вероятности часто являются небольшими числами. Чтобы рассчитать совместные вероятности, вам нужно умножить вероятности вместе. Когда вы умножаете одно маленькое число на другое маленькое, вы получаете очень маленькое число (иногда даже не помещается в 32-разрядное значение с плавающей запятой, и ненулевое значение становится равным 0).

Иногдадисперсия некоторых признаков равна 0, что приводит к проблеме деления на ноль и численной нестабильности.