Как рассчитать ковариационную матрицу фрейма данных

Question

Я прочитал фрейм данных датчика, используя функцию pandas read_fwf. Мне нужно найти ковариационную матрицу для чтения матрицы 928991 x 8. В конце концов, Я хочу найти собственные векторы и собственные значения, используя алгоритм анализа главных компонент для этой ковариационной матрицы.

Answer 1

Почему бы просто не использовать функцию pd.DataFrame.cov ?

Answer 2

Во-первых, вам нужно поместить массив данных pandas в массив numpy, используя df.values ​​.Например:

A = df.values

Было бы намного проще вычислить либо ковариационную матрицу, либо PCA, после того как вы поместите свои данные в массив с единым целым.Для получения дополнительной информации:

# import functions you need to compute covariance matrix from numpy
from numpy import array
from numpy import mean
from numpy import cov
from numpy.linalg import eig

# assume you load your data using pd.read_fwf to variable *df*
df = pd.read_fwf(filepath, widths=col_widths, names=col_names)
#put dataframe values to a numpy array
A = df.values
#check matrix A's shape, it should be (928991, 8)
print(A.shape)
# calculate the mean of each column
M = mean(A.T, axis=1)
print(M)
# center columns by subtracting column means
C = A - M
print(C)
# calculate covariance matrix of centered matrix
V = cov(C.T)
print(V)
# eigendecomposition of covariance matrix
values, vectors = eig(V)
print(vectors)
print(values)
# project data
P = vectors.T.dot(C.T)
print(P.T)

При выполнении примера сначала печатается исходная матрица, затем собственные векторы и собственные значения центрированной ковариационной матрицы, а затем, наконец, проекция исходной матрицы.Вот ссылка, которая может оказаться полезной для вашей задачи PCA .

Answer 3

Ответ на этот вопрос будет следующим:

import pandas as pd
import numpy as np
from numpy.linalg import eig

df_sensor_data = pd.read_csv('HT_Sensor_dataset.dat', delim_whitespace=True)
del df_sensor_data['id']
del df_sensor_data['time']
del df_sensor_data['Temp.']
del df_sensor_data['Humidity']
df = df_sensor_data.notna().astype('float64')
covariance_matrix = df_sensor_data.cov()
print(covariance_matrix)

values, vectors = eig(covariance_matrix)
print(values)
print(vectors)