Реализация UDF JavaScript в Snowflake - PullRequest
Новая
       22

Реализация UDF JavaScript в Snowflake

1 голос
/ 16 января 2020

Я нашел полезную функцию JS, которую хочу внедрить в UDF снежинки, чтобы переместить сложные вычисления в dwh.

http://trentrichardson.com/2010/04/06/compute-linear-regressions-in-javascript/

Попытка для обработки выше как SQL процедура: 

CREATE OR REPLACE PROCEDURE JS_LNR_REG(a array, b array)
RETURNS ARRAY
LANGUAGE javascript
AS
$$
function linearRegression(y,x){
var lr = {};
var n = y.length;
var sum_x = 0;
var sum_y = 0;
var sum_xy = 0;
var sum_xx = 0;
var sum_yy = 0;

for (var i = 0; i < y.length; i++) {

    sum_x += x[i];
    sum_y += y[i];
    sum_xy += (x[i]*y[i]);
    sum_xx += (x[i]*x[i]);
    sum_yy += (y[i]*y[i]);
} 

lr['slope'] = (n * sum_xy - sum_x * sum_y) / (n*sum_xx - sum_x * sum_x);
lr['intercept'] = (sum_y - lr.slope * sum_x)/n;

return lr;}      ; $$;

Выполнение завершается с ошибкой: SQL compilation error: Invalid identifier, что является странным, поскольку процедура была создана. 

SELECT JS_LNR_REG('[2,4,5,3,1]', '[5.2, 5.7, 5.0, 4.2]');

1 Ответ

1 голос
/ 17 января 2020

Ты почти у цели. Чтобы передать массив, попробуйте использовать ARRAY_CONSTRUCT или PARSE_ JSON, например, так: 

SELECT JS_LNR_REG(array_construct(1,2,3,4), array_construct(5,4,3,2));
SELECT JS_LNR_REG(parse_json('[1,2,3,4]'), parse_json('[5,4,3,2]'));

Чтобы заставить код работать, сделайте его FUNCTION, возвращающим OBJECT, и обязательно вызовите linearRegression () из в вашем UDF: 

CREATE OR REPLACE FUNCTION JS_LNR_REG(A array, B array)
  RETURNS OBJECT
  LANGUAGE JAVASCRIPT
  STRICT
AS
$$
function linearRegression(y,x){
  var lr = {};
  var n = y.length;
  var sum_x = 0;
  var sum_y = 0;
  var sum_xy = 0;
  var sum_xx = 0;
  var sum_yy = 0;

  for (var i = 0; i < y.length; i++) {

      sum_x += x[i];
      sum_y += y[i];
      sum_xy += (x[i]*y[i]);
      sum_xx += (x[i]*x[i]);
      sum_yy += (y[i]*y[i]);
  } 

  lr['slope'] = (n * sum_xy - sum_x * sum_y) / (n*sum_xx - sum_x * sum_x);
  lr['intercept'] = (sum_y - lr.slope * sum_x)/n;

  return lr;
  }      

  return linearRegression(A,B)
; $$;

Надеюсь, это полезно.

...