Как отбелить матрицу в PCA - PullRequest
Новая
       51

Как отбелить матрицу в PCA

7 голосов
/ 04 июля 2011

Я работаю с Python и реализовал PCA, используя это руководство .

Все отлично работает, я получил Covariance, я успешно выполнил преобразование, довел его до исходных размеров, не проблема.

Но как мне выполнить отбеливание? Я попытался разделить собственные векторы на собственные значения: 

S, V = numpy.linalg.eig(cov)
V = V / S[:, numpy.newaxis]

и использовал V для преобразования данных, но это привело к странным значениям данных. Может ли кто-нибудь пролить свет на это?

Ответы [ 3 ]

17 голосов
/ 05 июля 2012

Вот примерная реализация кода Matlab для отбеливания матриц, который я получил от здесь . 

import numpy as np

def whiten(X,fudge=1E-18):

   # the matrix X should be observations-by-components

   # get the covariance matrix
   Xcov = np.dot(X.T,X)

   # eigenvalue decomposition of the covariance matrix
   d, V = np.linalg.eigh(Xcov)

   # a fudge factor can be used so that eigenvectors associated with
   # small eigenvalues do not get overamplified.
   D = np.diag(1. / np.sqrt(d+fudge))

   # whitening matrix
   W = np.dot(np.dot(V, D), V.T)

   # multiply by the whitening matrix
   X_white = np.dot(X, W)

   return X_white, W

Вы также можете отбелить матрицу, используя SVD: 

def svd_whiten(X):

    U, s, Vt = np.linalg.svd(X, full_matrices=False)

    # U and Vt are the singular matrices, and s contains the singular values.
    # Since the rows of both U and Vt are orthonormal vectors, then U * Vt
    # will be white
    X_white = np.dot(U, Vt)

    return X_white

Второй способ немного медленнее, но, вероятно, более численно стабилен.

5 голосов
/ 28 июня 2016

Если вы используете для этого библиотеку python scikit-learn, вы можете просто установить встроенный параметр 

from sklearn.decomposition import PCA
pca = PCA(whiten=True)
whitened = pca.fit_transform(X)

, проверить документацию .

1 голос
/ 07 июля 2011

Я думаю, вам нужно транспонировать V и взять квадратный корень из S. Так что формула

matrix_to_multiply_with_data = transpose (v) * s ^ (- 1/2)

...