Отсутствует класс UDF HIVE - PullRequest
Новая
       6

Отсутствует класс UDF HIVE

0 голосов
/ 05 сентября 2018

Я создал ниже функции UDF: 

package co.hive.udf;

import java.security.*;
import javax.crypto.*;
import javax.crypto.spec.SecretKeySpec;

import sun.misc.*;
import org.apache.hadoop.hive.ql.exec.UDF;


public class encryptHivecolumn extends UDF {
    private static final String ALGO = "AES";
     private static final byte[] keyValue = 
                new byte[] { 'T', 'h', 'e', 'B', 'e', 's', 't',
        'S', 'e', 'c', 'r','e', 't', 'K', 'e', 'y' };
     public static String encrypt(String Data) throws Exception {
            Key key = generateKey();
            Cipher c = Cipher.getInstance(ALGO);
            c.init(Cipher.ENCRYPT_MODE, key);
            byte[] encVal = c.doFinal(Data.getBytes());
            @SuppressWarnings("restriction")
            String encryptedValue = new BASE64Encoder().encode(encVal);
            return encryptedValue;
        }


        private static Key generateKey() throws Exception {
            Key key = new SecretKeySpec(keyValue, ALGO);
            return key;
    }




}

И создал JAR из затмения. Я добавил JAR-файл из eclipse, и он говорит, что добавлен в classpath, но когда я создаю временную функцию, он говорит, что класс не найден.

1 Ответ

0 голосов
/ 07 сентября 2018

Мне удалось создать JAR и запустить его, но теперь я получаю ошибку ниже. он корректно шифруется, если я просто запускаю оператор выбора, но когда я создаю таблицу из выбора, он вставляет в таблицу значения NULL. пожалуйста, смотрите детали ниже. Как избежать этой проблемы, когда столбцы становятся нулевыми в создании таблицы как оператор. 

hive> select id,Decrypt(Encrypt(firstname)),lastname,city  from plikhi.stagging_encrypt limit 10;
OK
1       Theodore        KQcNniTorf      Des Moines
2       Franklin        u6792WT1MZ      Jefferson City
3       Dwight  suR6IQZwLJ      Charleston
4       Ronald  yeMmNHuQca      Providence
5       Woodrow XE3bw5Cjib      Juneau
6       Richard PQOXrqHyCP      Baton Rouge
7       Lyndon  IrKwoTqXnR      Carson City
8       William 5TdDMqAXrX      Providence
9       George  OtWW4BdFVv      Raleigh
10      Harry   NiRnATHIWo      Augusta
Time taken: 0.078 seconds, Fetched: 10 row(s)

hive> create table Encrypt_Test as select id,Encrypt(firstname) as firstname,lastname,city  from plikhi.stagging_encrypt limit 10;

Query ID = plikhi.admin_20180907082938_f71da154-8c3c-46d5-88d4-b794712199e8
Total jobs = 1
Launching Job 1 out of 1
Status: Running (Executing on YARN cluster with App id application_1535856819605_0058)

Moving data to directory hdfs://vtorbdapc01.devad.moneris.com:8020/apps/hive/warehouse/encrypt_test
Table default.encrypt_test stats: [numFiles=1, numRows=10, totalSize=507, rawDataSize=497]
OK
Time taken: 10.161 seconds
hive> select * from Encrypt_Test;
OK

1 BiOPF4LrWbPHDWRbiSV4eg == NULL NULL KQcNniTorf Des Moines NULL 2 QkXExqbMWZ5y9NWjO4PDYQ == NULL NULL u6792WT1MZ Джефферсон Сити NULL 3 hLb2Ya9j + ayIpkCqWKqbCA == NULL NULL suR6IQZwLJ Чарльстон НУЛЬ 4 ctljLq7D2 + h + nF52LvQDjA == NULL NULL YeMmNHuQca Провидение NULL 5 ZGSoPIVwdya70f + qhuvsJg == NULL NULL XE3bw5Cjib Джуно NULL 6 8OgOf6opg38CEqRDCZVBkw == NULL NULL PQOXrqHyCP Батон-Руж NULL 7 kjwaxk7pXtCuOEXqBD56dw == NULL NULL IrKwoTqXnR Карсон Сити NULL 8 IyQAknyGOO3hnvRnMAaWQw == NULL NULL 5TdDMqAXrX Провидение NULL 9 cxyNZFnBCs0nQwwI5Hj07A == NULL NULL OtWW4BdFVv Роли NULL 10 jBXiI6c24f + s9hiWo52RYg == NULL NULL NiRnATHIWo Augusta NULL Время: 0,058 секунд, извлечено: 20 строк 

hive> select Decrypt(firstname) from Encrypt_Test;

Theodore
NULL
Franklin
NULL
Dwight
NULL
Ronald
NULL
Woodrow
NULL
Richard
NULL
Lyndon
NULL
William
NULL
George
NULL
Harry
NULL
...