Python: внедрение PCA с использованием SVD - PullRequest
Новая
       91

Python: внедрение PCA с использованием SVD

0 голосов
/ 03 марта 2020

Я пытаюсь выяснить различия между PCA с использованием разложения по сингулярным значениям в отличие от PCA с использованием Eigenvector-Decomposition.

Изобразите следующую матрицу: 

 B = np.array([          [1, 2],
                         [3, 4],
                         [5, 6] ])

При вычислении PCA этой матрицы B, используя собственный вектор-декомпозицию, мы выполняем следующие шаги:

  1. Центрируем данные (записи B), вычитая среднее значение столбца из каждого столбца
  2. Вычисляем ковариационную матрицу C = Cov(B) = B^T * B / (m -1), где m = # строк B
  3. Найти собственные векторы C
  4. PCs = X * eigen_vecs

При вычислении PCA матрицы B с использованием SVD , мы следуем этим шагам:

  1. Вычислить SVD B: B = U * Sigma * V.T
  2. PCs = U * Sigma

Я сделал оба для данной матрицы.

При разложении по собственному вектору я получаю этот результат: 

[[-2.82842712  0.        ]
 [ 0.          0.        ]
 [ 2.82842712  0.        ]]

При использовании SVD получаю следующий результат: 

[[-2.18941839  0.45436451]
 [-4.99846626  0.12383458]
 [-7.80751414 -0.20669536]]

Результат, полученный при разложении по собственному вектору, является результатом дано как решение. Итак, почему результат, полученный с SVD отличается?

Я знаю, что: C = Cov(B) = V * (Sigma^2)/(m-1)) * V.T, и я чувствую, что это может быть связано с тем, почему эти два результата различны. По-прежнему. Кто-нибудь может помочь мне лучше понять?

1 Ответ

0 голосов
/ 06 марта 2020

См. Ниже сравнение вашей матрицы с sklearn.decomposition.PCA и numpy .linalg.svd. Можете ли вы сравнить или опубликовать, как вы получили результаты SVD.

Код для sklearn.decomposition.PCA: 

from sklearn.decomposition import PCA
import numpy as np 
np.set_printoptions(precision=3)

B = np.array([[1.0,2], [3,4], [5,6]])

B1 = B.copy() 
B1 -= np.mean(B1, axis=0) 
n_samples = B1.shape[0]
print("B1 is B after centering:")
print(B1)

cov_mat = np.cov(B1.T)
pca = PCA(n_components=2) 
X = pca.fit_transform(B1)
print("X")
print(X)

eigenvecmat =   []
print("Eigenvectors:")
for eigenvector in pca.components_:
   if eigenvecmat == []:
        eigenvecmat = eigenvector
   else:
        eigenvecmat = np.vstack((eigenvecmat, eigenvector))
   print(eigenvector)
print("eigenvector-matrix")
print(eigenvecmat)

print("CHECK FOR PCA:")
print("X * eigenvector-matrix (=B1)")
print(np.dot(PCs, eigenvecmat))

Вывод для PCA: 

B1 is B after centering:
[[-2. -2.]
 [ 0.  0.]
 [ 2.  2.]]
X
[[-2.828  0.   ]
 [ 0.     0.   ]
 [ 2.828  0.   ]]
Eigenvectors:
[0.707 0.707]
[-0.707  0.707]
eigenvector-matrix
[[ 0.707  0.707]
 [-0.707  0.707]]
CHECK FOR PCA:
X * eigenvector-matrix (=B1)
[[-2. -2.]
 [ 0.  0.]
 [ 2.  2.]]

numpy .linalg.svd: 

print("B1 is B after centering:")
print(B1)

from numpy.linalg import svd 
U, S, Vt = svd(X1, full_matrices=True)

print("U:")
print(U)
print("S used for building Sigma:")
print(S)
Sigma = np.zeros((3, 2), dtype=float)
Sigma[:2, :2] = np.diag(S)
print("Sigma:")
print(Sigma)
print("V already transposed:")
print(Vt)
print("CHECK FOR SVD:")
print("U * Sigma * Vt (=B1)")
print(np.dot(U, np.dot(Sigma, Vt)))

Выход для SVD: 

B1 is B after centering:
[[-2. -2.]
 [ 0.  0.]
 [ 2.  2.]]
U:
[[-0.707  0.     0.707]
 [ 0.     1.     0.   ]
 [ 0.707  0.     0.707]]
S used for building Sigma:
[4. 0.]
Sigma:
[[4. 0.]
 [0. 0.]
 [0. 0.]]
V already transposed:
[[ 0.707  0.707]
 [-0.707  0.707]]
CHECK FOR SVD:
U * Sigma * Vt (=B1)
[[-2. -2.]
 [ 0.  0.]
 [ 2.  2.]]
...