Как загрузить и выполнить скрипт Python в Hue?

Question

Я новый пользователь Hadoop и пытаюсь запустить скрипт Python через интерфейс Hue.

После некоторых поисков я нашел решение на форуме cloudera:

https://community.cloudera.com/t5/Web-UI-Hue-Beeswax/How-to-run-Python-script-in-Hue-through-oozie/m-p/61455

где на плакате было написано: «Решением было поместить скрипт Python в поле Hue -> Query -> Editor -> Spark в поле Libs с полным путем примера скрипта Python: Libs: / user / userxyz / myscript. py и запустите запрос. Нажав на ссылку job_xxxxx, вы увидите, успешно ли выполнен скрипт. "

Однако я не могу понять, как загрузить и выполнить скрипт Python в распределенной файловой системе Hadoop. Интерфейс Hue, похоже, не имеет функции HDFS, которая отображает мой корень и позволяет загружать файлы. Я загружаю свой скрипт Python в виде текстового файла с моего рабочего стола или есть редактор в Hue?

Answer 1

Вы можете написать скрипт Python в HUE и сохранить файл как myScript.py. Чтобы использовать python и распределенную файловую систему, вы должны установить, например, pySpark. Затем вы можете перейти к редактору Oozie и выбрать Spark Action. В поле Jar/py name вы должны указать myScript.py . Как ARGUMENTS вы должны указать путь, по которому установлен pySpark (python Api). Также в FILES вы должны указать путь, по которому сохраняется myScript.py.

Answer 2

Сценарии Python, вероятно, следует запускать из задачи сценария Oozie с помощью python script.py и присоединения ссылки на файл HDFS к задаче рабочего процесса.

Если у вас нет Spark-кода, тогда вы не должны использовать Spark Notebook Editor для него.

есть ли редактор в Хюэ?

Если щелкнуть какой-либо документ в браузере файлов, это произойдет, но при этом файл будет загружен в файловую систему сервера Hue, а затем повторно загружен, поэтому его лучше редактировать и загружать напрямую.

Интерфейс Hue, похоже, не имеет функции HDFS, которая отображает мой корень и позволяет загружать файлы

В INI есть параметр конфигурации, позволяющий загружать файлы , который по умолчанию имеет значение . Если у вас полностью отключен Браузер файлов или, возможно, даже старая версия Hue, его, вероятно, там нет.