как мы можем загрузить orcdata в улей с помощью потокового процессора nifi - PullRequest
0 голосов
/ 18 июня 2019

У меня есть файлы orc и их схема. Я пытался загрузить эти файлы orc в локальный куст, и теперь он работает нормально. Теперь я сгенерирую несколько файлов orc, и мне нужно загрузить эти файлы orc в таблицу кустов с помощью процессора потоковой передачи nive put?

1 Ответ

1 голос
/ 18 июня 2019

PutHiveStreaming ожидает, что файлы входящего потока будут в формате Avro.Если вы используете PutHive3Streaming, у вас больше гибкости, но он не принимает потоковые файлы в формате ORC;вместо этого оба этих процессора преобразуют ввод в ORC и записывают его в управляемую таблицу в Hive.

Если ваши файлы уже имеют формат ORC, вы можете использовать PutHDFS, чтобы поместить их непосредственно в HDFS.Если у вас нет прав на запись непосредственно в местоположение управляемой таблицы, вы можете выполнить запись во временную папку, создать поверх нее внешнюю таблицу и затем загрузить ее в управляемую таблицу, используя INSERT INTO myTable FROM SELECT * FROM externalTable или что-то еще.

...