Ошибки в команде had oop fs -cat при записи вывода таблицы с разделителями текста в локальную unix - PullRequest
0 голосов
/ 29 апреля 2020

У меня очень большое количество данных, хранящихся в таблице с текстовым разделителем, DDL которой я создал через Impala, я записал ее с данными в Hive и хочу получить ее в Local Unix в одном файле. У меня есть несколько файлов в пути расположения таблицы HDFS, я использовал эту команду:

hadoop fs -cat '<tablelocationinHDFS>/*' > /unixlocalpathandfilename.csv

Я получаю 2 ошибки:

  1. cat: is a directory error
    Поскольку внутри него находится один каталог impala_insert_staging , как мне избежать этой ошибки?
  2. cat: Unable to write to output stream

Или я должен получать данные в Local с помощью команды get или getmerge в один файл?
Как избежать вышеуказанного ошибки и успешный запуск команды.

1 Ответ

0 голосов
/ 29 апреля 2020

Я бы сделал следующее

hdfs dfs -getmerge [-nl] <localdst> /unixlocalpath

-nl  Add a newline character at the end of each file.
...