сбой импорта для пакета murmur2 в Redshift UDF - PullRequest
Новая
       27

сбой импорта для пакета murmur2 в Redshift UDF

0 голосов
/ 12 октября 2018

Я пытаюсь импортировать пакет murmur2 в виде библиотеки в базе данных Redshift.Я сделал следующие шаги

  1. Запустите упаковщик модулей
    $ ./installPipModuleAsRedshiftLibrary.sh -m murmur2 -s s3://path/to/murmur2/lib

  2. Создать библиотеку по красному смещению
    CREATE OR REPLACE LIBRARY murmur2 LANGUAGE plpythonu from 's3://path/to/murmur2/lib/murmur2.zip' WITH CREDENTIALS AS 'aws_access_key_id=AAAAAAAAAAAAAAAAAAAA;aws_secret_access_key=SSSSSSSSSSSSSSSSS' region 'us-east-1';

  3. Создать функцию и запрос

    create OR REPLACE function f_py_kafka_partitioner (s varchar, ps int)<br> returns int stable as $$ import murmur2<br> m2 = murmur2.murmur64a(s, len(s), 0x9747b28c)<br> return m2 % ps<br> $$ language plpythonu;

SELECT f_py_kafka_partitioner('jiimit', 100);

Это дает следующееошибка: 

[Amazon](500310) Invalid operation: ImportError: No module named murmur2. Please look at svl_udf_log for more information
Details: 
 -----------------------------------------------
  error:  ImportError: No module named murmur2. Please look at svl_udf_log for more information
  code:      10000
  context:   UDF
  query:     0
  location:  udf_client.cpp:366
  process:   padbmaster [pid=31381]
  -----------------------------------------------;

А вот содержимое svl_udf_log 

0   ImportError: No module named murmur2 2018-10-14 07:05:43.431561 line 2, in f_py_kafka_partitioner\n  f_py_kafka_partitioner  1000 20000 0

Структура папки выглядит следующим образом
Murmur2 Directory tree

...