Возникла проблема при регистрации Hive UDF в билайн - PullRequest
Новая
       70

Возникла проблема при регистрации Hive UDF в билайн

0 голосов
/ 28 января 2019

Я пытался зарегистрировать UDF HIVe, как подробно описано ниже, но в результате я получил ошибки.Посоветуйте, пожалуйста, что делать в этом случае?

0: 

 jdbc:hive2://g4t7479.calfor.abbcorp.net:1> ADD JAR  /MAPR/DBLCLK/double_click/HiveUDF/AXX-DoubleClick-0.0.1-SNAPSHOT-jar-with-dependencies.jar;
Error: Error while processing statement: /MAPR/DBLCLK/double_click/HiveUDF/AXX-DoubleClick-0.0.1-SNAPSHOT-jar-with-dependencies.jar does not exist (state=,code=1)

0: jdbc:hive2://g4t7479.calfor.abbcorp.net:1> CREATE TEMPORARY FUNCTION stringTrim as 'com.axx.gma.dclick.StringTrim' USING JAR 'hdfs://MAPR/DBLCLK/double_click/HiveUDF/AXX-DoubleClick-0.0.1-SNAPSHOT-jar-with-dependencies.jar';
Error: Error while compiling statement: FAILED: SemanticException java.lang.IllegalArgumentException: java.net.UnknownHostException: MAPR (state=42000,code=40000)

0: jdbc:hive2://g4t7479.calfor.abbcorp.net:1> CREATE TEMPORARY FUNCTION stringTrim as 'com.axx.gma.dclick.StringTrim' USING JAR 'hdfs:://MAPR/DBLCLK/double_click/HiveUDF/AXX-DoubleClick-0.0.1-SNAPSHOT-jar-with-dependencies.jar';
Error: Error while compiling statement: FAILED: IllegalArgumentException java.net.URISyntaxException: Relative path in absolute URI: hdfs::/MAPR/DBLCLK/double_click/HiveUDF/AXX-DoubleClick-0.0.1-SNAPSHOT-jar-with-dependencies.jar (state=42000,code=40000)

1 Ответ

0 голосов
/ 30 января 2019

Ошибка: ошибка при обработке оператора: /MAPR/DBLCLK/double_click/HiveUDF/AXX-DoubleClick-0.0.1-SNAPSHOT-jar-with-dependencies.jar не существует (состояние =, код = 1)

выше сообщение об ошибке предполагает, что jar не задан заранее и не был добавлен, поэтому создание функции с использованием этого JAR наверняка даст вам ошибку.

проверьте, существует ли JAR, используя следующую команду.Это будет работать для hdf, если вы используете другую команду файловой системы, которая может отличаться.

hdfs dfs -ls /MAPR/DBLCLK/double_click/HiveUDF/AXX-DoubleClick-0.0.1-SNAPSHOT-jar-with-dependencies.jar

, если этоВам не нужно перемещать файл из локальной системы в файловую систему hdfs.или измените команду на ADD LOCAL JAR (хотя в beeline это не работает)

Даже если при добавлении JAR не возникает ошибка, рекомендуется использовать следующую команду (из улья или билайна)чтобы убедиться, что он был добавлен.

список банок;

Это покажет вам все банки, которые были добавлены.

...