как настроить модель линейной регрессии наименьших квадратов для векторных входов и наблюдений - PullRequest
Новая
       27

как настроить модель линейной регрессии наименьших квадратов для векторных входов и наблюдений

0 голосов
/ 29 января 2019

предположим, что у нас есть система входов и наблюдений, связанных с помощью матрицы:

enter image description here

Если у нас есть набор наблюдений y, основанный нанабор входов х, я могу настроить подпрограмму нелинейных наименьших квадратов, чтобы соответствовать параметрам матрицы m 

%pylab inline
from scipy.optimize import least_squares
n_observations = 100
m = random.random(16).reshape(4, 4)
x = random.random(n_observations*4).reshape(n_observations, 4, 1)
noise = (random.random(n_observations*4).reshape(n_observations, 4, 1)-0.5) * 0.01
y = einsum('ij,njk->nik', m, x)

def residuals(x0):
    return (y + noise - einsum('ij,njk->nik', x0.reshape(4, 4), x)).flatten()

res = least_squares(residuals, x0=random.random(16))
m_fit = res.x.reshape(4, 4)
diff = m_fit - m
print('     m actual | m fit    | diff     ')
print('     -------- | -------- | ---------')
for i in range(4):
    for j in range(4):
        print(f'm{i+1}{j+1}: {m[i,j]:0.06f} | {m_fit[i,j]:0.06f} | {diff[i,j]:+0.06f}')

>>> (for example)
     m actual | m fit    | diff
     -------- | -------- | --------
m11: 0.259722 | 0.259461 | -0.000261
m12: 0.266986 | 0.266999 | +0.000012
m13: 0.373180 | 0.373662 | +0.000482
m14: 0.570387 | 0.569813 | -0.000574
m21: 0.462023 | 0.462099 | +0.000076
m22: 0.875758 | 0.876651 | +0.000893
m23: 0.420369 | 0.419884 | -0.000485
m24: 0.335546 | 0.334505 | -0.001041
m31: 0.625779 | 0.626269 | +0.000490
m32: 0.499375 | 0.499400 | +0.000025
m33: 0.871075 | 0.870183 | -0.000892
m34: 0.497999 | 0.498878 | +0.000879
m41: 0.367814 | 0.366537 | -0.001277
m42: 0.020419 | 0.020412 | -0.000007
m43: 0.221916 | 0.221764 | -0.000153
m44: 0.758361 | 0.759409 | +0.001048

мой вопрос, возможно ли сделать это, используя линейный метод наименьших квадратов, a.la.numpy.linalg.lstsq

Я не очень знаком с линейными регрессиями, но кажется, что это возможно, я просто не могу понять, как решить проблему, чтобы выполнить ее вэто мода* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * Метод numpy.linalg.lstsq не похож на то, что он настроен для обработки этого конкретного сценария, и я не уверен, что еще будет, поэтому я ищу небольшое руководство по этому вопросу.

1 Ответ

0 голосов
/ 29 января 2019

Другой способ записать уравнение: X*M = Y, где X - это (n_obs, 4) входная матрица, M - это (4, 4) матрица неизвестных, а Y - это (n_obs, 4).) наблюдения.

Затем можно использовать numpy.linalg.lstsq: 

import numpy as np
from scipy.optimize import least_squares

n_observations = 100

np.random.seed(seed=1234)
X = np.random.random((n_observations, 4))
M = np.random.random((4, 4))

Y = np.einsum('ni,ij->nj', X, M)

M_fit, residuals, rank, s = np.linalg.lstsq(X, Y, rcond=None)

print(M)
#[[0.71499388 0.72409148 0.01867644 0.2858131 ]
# [0.58048634 0.93078663 0.3389969  0.12008312]
# [0.51627271 0.69920706 0.29864068 0.86160962]
# [0.9058072  0.76858325 0.26123164 0.9384556 ]]

print(M_fit)
#[[0.71499388 0.72409148 0.01867644 0.2858131 ]
# [0.58048634 0.93078663 0.3389969  0.12008312]
# [0.51627271 0.69920706 0.29864068 0.86160962]
# [0.9058072  0.76858325 0.26123164 0.9384556 ]]

Путем записи транспонирования уравнения, т.е. M' * X' = Y', можно получить вашу запись,

...