Как определить корреляцию из фрейма данных с Nan?

Question

Я использую метод DataFrame.corr () из Pandas.В результате он возвращает матрицу корреляции, но удаляет столбцы, где было хотя бы одно значение Nan.Можно ли вычислить корреляцию в DataFrame с Nan?

Answer 1

Сначала нужно избавиться от значений NaN:

df2=df.dropna()

Или заменить их на среднее:

df2 = df.fillna(df.mean())

Или используйте алгоритм, такой как EM (максимизация ожидания) для вменения.

Затем вы проверяете корреляции

df2.corr()

Примечание: если показатель пропущенных значений для данной переменной превышает 15%, вам следует рассмотреть возможность ее исключения из анализа

Answer 2

Попробуй это.Для моего случая это сработало

 df = df.apply(pd.to_numeric, errors='coerce')