Дамп данных из билайна в каталог HDFS - PullRequest
0 голосов
/ 03 октября 2019

Я пишу bash-скрипт для экспорта динамического SQL-запроса в hql-файл в каталоге HDFS. Я собираюсь запустить этот bash через oozie.

  1. sql_v = select 'create tableимя_таблицы из user_tab_columns где ...; '

  2. beeline -u "$ sql_v"> local_path

переменная sql_v будет хранить динамическую команду создания таблицыкоторый я хочу хранить в файле hql в каталоге hdfs. Если я выполняю выше 2 шагов, он работает нормально, потому что я храню данные в локальном пути, но вместо передачи local_path я хочу сохранить sql в каталоге hdfs. Есть способ, которым я могу передать путь hdfs вместо local_path, как показано ниже, но это не такработай. Могу ли я использовать любую другую команду вместо Билайн для достижения этой цели?

beeline -u "$ sql_v" |hdfs dfs -appendToFile -

...