Нужен способ в Пандах выполнить надежное стандартное отклонение - PullRequest
0 голосов
/ 09 апреля 2019

Мне нужны панды, чтобы рассчитать устойчивое стандартное отклонение

Сегодня я выполняю анализ выбросов электрических измерений в python и рефакторинг кода в среде панд. У меня есть проблема в расчете стандартного отклонения. Если выбросы присутствуют в совокупности при расчете стандартного отклонения, результирующее значение слишком велико и связано с наличием выбросов. В моем исходном коде на языке Python я написал устойчивое среднее значение для стандартных функций, чтобы вернуться к более нормальной популяции для расчета предельных значений выбросов. Обратите внимание, я также использую эту нормированную популяцию для расчета асимметрии и эксцесса, потому что на них сильно влияют выбросы.

То, на что я смотрел, - это нормализация населения с использованием 95% квантиля набора данных и вычисление оттуда предельных значений. Кто-нибудь знает, работал ли кто-либо в сообществе панд над надежными статистическими функциями? Если нет, я буду двигаться вперед.

DF [ "# 18,1355"]. Описать () количество 2694,000000 значит 1.808318 стандарт 6.426645 мин 0,920686 25% 1.357991 50% 1,521781 75% 1,801604 макс 334,196900 Имя: # 18.1355, dtype: float64

Обратите внимание, что далеко в максимальном значении.

Стандартное отклонение нормированной популяции для вышеуказанного измерения составляет ~ 0,8

1 Ответ

0 голосов
/ 08 мая 2019

Этот ответ не относится только к пандам, но рассматривали ли вы возможность использования среднего веса с би-весом?(см. пример реализации http://docs.astropy.org/en/stable/api/astropy.stats.biweight_midvariance.html)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...