Я оцениваю точность модели, которая предсказывает данные подсчета.
Мои фактические данные имеют довольно необычное распределение - хотя у меня большой объем данных, форма отличается от любых стандартных распределений (Пуассон,нормальный, отрицательный бином и т. д.).
Как часть моей оценки, я хочу получить показатель, насколько хорошо распределение прогнозов соответствует распределению фактических данных. Я пытался использовать стандартные метрики производительности модели, такие как MAE или RMSE, но, похоже, они не отражают то, насколько хорошо прогнозы соответствуют ожидаемому распределению.
Моей первоначальной идеей было разделить прогнозы на децили,и посчитайте, какая доля приходится на каждый дециль. Это будет очень грубое указание на базовое распределение. Затем я вычислил бы то же самое для моих «фактических данных» и суммировал бы абсолютные различия между пропорциями.
Это работает в некоторой степени, но кажется немного неуклюжим, а разделение на децили кажется произвольным. Есть ли в R функция, которая выдает одну метрику для определения соответствия двух распределений?