Две отдельные таблицы на HAD oop из двух файлов в каталоге HDFS

Question

Я пытаюсь построить две таблицы Had oop из одного каталога HDFS.

Итак, я бы хотел таблицу file1 из файла 1.tsv и другую таблицу file2 из файла 2.tsv. Но оба они находятся в одном каталоге HDFS /tmp/ip.

# create hdfs directory
hadoop fs -mkdir /tmp/ip

# put my two tsv files
hadoop fs -put /tmp/data/1.tsv tmp/ip/
hadoop fs -put /tmp/data/2.tsv tmp/ip/

Теперь в CLI Hive

--in Hive CLI to build table
CREATE EXTERNAL TABLE IF NOT EXISTS file1
(id STRING,Code STRING)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
STORED AS TEXTFILE

-- failed solution because there's two files
LOCATION 'tmp/ip';

-- failed solution but don't understand why
LOAD DATA LOCAL INPATH 'tmp/ip/1.tsv' INTO TABLE file1

Answer 1

Относительно неудачного решения:

- неудачное решение, но не понимаю, почему LOAD DATA LOCAL INPATH 'tmp/ip/1.tsv' INTO TABLE file1 не удалось.

Это сбой из-за ключевого слова LOCAL. Hive ищет файл в локальной файловой системе. Вы можете попробовать, не используя это.

LOAD DATA INPATH 'tmp/ip/1.tsv' INTO table file1`