AWS Elastic Map Уменьшить Hive работает v0.5? отсутствующие функции: 'str_to_map', 'размышлять' - PullRequest
Новая
       37

AWS Elastic Map Уменьшить Hive работает v0.5? отсутствующие функции: 'str_to_map', 'размышлять'

0 голосов
/ 29 февраля 2012

В реализации Hive в Amazon AWS Elastic Map Reduce пользовательские функции str_to_map и reflect не определены.

str_to_map задокументировано здесь: https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-StringFunctions

и был выпущен с Hive 0.7: https://issues.apache.org/jira/browse/HIVE-1779

Но при запуске Hive в AWS EMR, show functions не показывает str_to_map или reflect в качестве поддерживаемой функции.

Итак, похоже, что на узлах EMR EC2 установлен hive-0.5. 

hadoop@ip-....:~$ sudo find  / -name "hive-exec*jar"
/home/hadoop/.versions/hive-0.5/lib/hive-exec-0.5.0.jar

hadoop@...:~$ ls /home/hadoop/.versions/
0.18  0.20  hive-0.5

Это кажется ... неправильным.

Я уверен, что Hive 0.7 находится в EMR. Как получить AMI с Hive 0.7 на главном узле EMR EC2?

1 Ответ

0 голосов
/ 02 марта 2012

Я понял это. Мне нужно было обновить до последней версии EMR Ruby CLI и передать в командной строке «--hive-version 0.7.1».

https://aws.amazon.com/developertools/2264

...