Требуется SQL Server Query для решения полиномиальной регрессии 3-го порядка

Question

Может ли кто-нибудь помочь с некоторым кодом SQL-запроса, чтобы получить оценки коэффициентов для полиномиальной регрессии 3-го порядка?

Пожалуйста, предположите, что у меня есть таблица значений данных X и Y и я хочу оценить, б и в в:

Y(X) = aX + bX^2 + cX^3 + E 

Answer 1

ПРИМЕРНО, но быстрым решением будет выборка 4 репрезентативных точек из данных и решение полиномиального уравнения для этих точек.

1. Что касается выборки , выможно разделить данные на равные сектора и вычислить среднее значение X и Y для каждого сектора - разделение может быть выполнено с использованием квартилей значений X, средних значений X, min(x)+(max(x)-min(x))/4 или любого другого значения, которое вы считаете наиболее подходящим.

   Для иллюстрации выборки по квартилям (т.е. по номерам строк) :

2. Что касается решая , я использовал numberempire.com , чтобы решить эти * уравнения для переменных k,a,b,c:

   k + a*X1 + b*X1^2 + c*X1^3 - Y1 = 0,
   k + a*X2 + b*X2^2 + c*X2^3 - Y2 = 0,
   k + a*X3 + b*X3^2 + c*X3^3 - Y3 = 0,
   k + a*X4 + b*X4^2 + c*X4^3 - Y4 = 0
   

   * Поскольку Y(X) = 0 + ax bx^2 + cx^3 + ϵ неявно включает в себя [0, 0] точку какодна из точек выборки создаст плохие приближения для наборов данных, которые не включают [0, 0].Вместо этого я позволил себе решить Y(X) = k + ax bx^2 + cx^3 + ϵ.

Фактический SQL будет выглядеть так:

select
    -- returns 1 row with columns labeled K, A, B and C = coefficients in 3rd order polynomial equation for the 4 sample points
    -(X1*(X2p2*(X3p3*Y4-X4p3*Y3)+X2p3*(X4p2*Y3-X3p2*Y4)+(X3p2*X4p3-X3p3*X4p2)*Y2)+X1p2*(X2*(X4p3*Y3-X3p3*Y4)+X2p3*(X3*Y4-X4*Y3)+(X3p3*X4-X3*X4p3)*Y2)+X1p3*(X2*(X3p2*Y4-X4p2*Y3)+X2p2*(X4*Y3-X3*Y4)+(X3*X4p2-X3p2*X4)*Y2)+(X2*(X3p3*X4p2-X3p2*X4p3)+X2p2*(X3*X4p3-X3p3*X4)+X2p3*(X3p2*X4-X3*X4p2))*Y1)/(X1*(X2p2*(X4p3-X3p3)-X3p2*X4p3+X3p3*X4p2+X2p3*(X3p2-X4p2))+X2*(X3p2*X4p3-X3p3*X4p2)+X1p2*(X3*X4p3+X2*(X3p3-X4p3)+X2p3*(X4-X3)-X3p3*X4)+X2p2*(X3p3*X4-X3*X4p3)+X1p3*(X2*(X4p2-X3p2)-X3*X4p2+X3p2*X4+X2p2*(X3-X4))+X2p3*(X3*X4p2-X3p2*X4))  as k,
    (X1p2*(X2p3*(Y4-Y3)-X3p3*Y4+X4p3*Y3+(X3p3-X4p3)*Y2)+X2p2*(X3p3*Y4-X4p3*Y3)+X1p3*(X3p2*Y4+X2p2*(Y3-Y4)-X4p2*Y3+(X4p2-X3p2)*Y2)+X2p3*(X4p2*Y3-X3p2*Y4)+(X3p2*X4p3-X3p3*X4p2)*Y2+(X2p2*(X4p3-X3p3)-X3p2*X4p3+X3p3*X4p2+X2p3*(X3p2-X4p2))*Y1)/(X1*(X2p2*(X4p3-X3p3)-X3p2*X4p3+X3p3*X4p2+X2p3*(X3p2-X4p2))+X2*(X3p2*X4p3-X3p3*X4p2)+X1p2*(X3*X4p3+X2*(X3p3-X4p3)+X2p3*(X4-X3)-X3p3*X4)+X2p2*(X3p3*X4-X3*X4p3)+X1p3*(X2*(X4p2-X3p2)-X3*X4p2+X3p2*X4+X2p2*(X3-X4))+X2p3*(X3*X4p2-X3p2*X4))  as a,
    -(X1*(X2p3*(Y4-Y3)-X3p3*Y4+X4p3*Y3+(X3p3-X4p3)*Y2)+X2*(X3p3*Y4-X4p3*Y3)+X1p3*(X3*Y4+X2*(Y3-Y4)-X4*Y3+(X4-X3)*Y2)+X2p3*(X4*Y3-X3*Y4)+(X3*X4p3-X3p3*X4)*Y2+(X2*(X4p3-X3p3)-X3*X4p3+X3p3*X4+X2p3*(X3-X4))*Y1)/(X1*(X2p2*(X4p3-X3p3)-X3p2*X4p3+X3p3*X4p2+X2p3*(X3p2-X4p2))+X2*(X3p2*X4p3-X3p3*X4p2)+X1p2*(X3*X4p3+X2*(X3p3-X4p3)+X2p3*(X4-X3)-X3p3*X4)+X2p2*(X3p3*X4-X3*X4p3)+X1p3*(X2*(X4p2-X3p2)-X3*X4p2+X3p2*X4+X2p2*(X3-X4))+X2p3*(X3*X4p2-X3p2*X4))  as b,
    (X1*(X2p2*(Y4-Y3)-X3p2*Y4+X4p2*Y3+(X3p2-X4p2)*Y2)+X2*(X3p2*Y4-X4p2*Y3)+X1p2*(X3*Y4+X2*(Y3-Y4)-X4*Y3+(X4-X3)*Y2)+X2p2*(X4*Y3-X3*Y4)+(X3*X4p2-X3p2*X4)*Y2+(X2*(X4p2-X3p2)-X3*X4p2+X3p2*X4+X2p2*(X3-X4))*Y1)/(X1*(X2p2*(X4p3-X3p3)-X3p2*X4p3+X3p3*X4p2+X2p3*(X3p2-X4p2))+X2*(X3p2*X4p3-X3p3*X4p2)+X1p2*(X3*X4p3+X2*(X3p3-X4p3)+X2p3*(X4-X3)-X3p3*X4)+X2p2*(X3p3*X4-X3*X4p3)+X1p3*(X2*(X4p2-X3p2)-X3*X4p2+X3p2*X4+X2p2*(X3-X4))+X2p3*(X3*X4p2-X3p2*X4))  as c
  from (select
      samples.*,
      -- precomputing the powers should give better performance (at least i hope it would)
      power(X1,2) X1p2, power(X2,2) X2p2, power(X3,2) X3p2, power(X4,2) X4p2,
      power(Y1,3) Y1p3, power(Y2,3) Y2p3, power(Y3,3) Y3p3, power(Y4,3) Y4p3
    from (select
        avg(case when sector = 1 then x end) X1,
        avg(case when sector = 2 then x end) X2,
        avg(case when sector = 3 then x end) X3,
        avg(case when sector = 4 then x end) X4,
        avg(case when sector = 1 then y end) Y1,
        avg(case when sector = 2 then y end) Y2,
        avg(case when sector = 3 then y end) Y3,
        avg(case when sector = 4 then y end) Y4
      from (select x, y, 
          -- splitting to sectors 1 - 4 by row number (SQL Server version)
          ceiling(row_number() OVER (ORDER BY x asc) / count(*) * 4) sector
        from original_data
      )
    ) samples
  )

Согласно developer.mimer.com, эти дополнительные функции должны быть включены в SQL Server:

T611, "Elementary OLAP operations"
F591, "Derived tables"

Answer 2

SQL Server имеет встроенную функцию ранжирования NTILE (n), которая облегчит создание ваших секторов. Я заменил:

ceiling(row_number() OVER (ORDER BY x asc) / count(*) * 4) sector

с:

NTILE(4) OVER(ORDER BY x ASC) [sector]

Мне также нужно было добавить несколько «предварительно вычисленных мощностей», чтобы учесть весь выбранный диапазон столбцов. Полный список приведен ниже:

POWER(samples.X1, 2) AS [X1p2], 
POWER(samples.X1, 3) AS [X1p3], 
POWER(samples.X2, 2) AS [X2p2], 
POWER(samples.X2, 3) AS [X2p3],
POWER(samples.X3, 2) AS [X3p2], 
POWER(samples.X3, 3) AS [X3p3], 
POWER(samples.X4, 2) AS [X4p2],
POWER(samples.X4, 3) AS [X4p3],
POWER(samples.Y1, 3) AS [Y1p3], 
POWER(samples.Y2, 3) AS [Y2p3], 
POWER(samples.Y3, 3) AS [Y3p3], 
POWER(samples.Y4, 3) AS [Y4p3]

В целом, отличный ответ @Aprillion! Хорошо объяснил и numberempire.com H / T был очень полезным.