Загружайте большие CSV-файлы в Hive через Ambari

Question

Я пытаюсь загрузить большие CSV-файлы (каждый из ~ 4G) в Hive через Ambari.Процесс CREATE TABLE - LOAD DATA, приведенный ниже, отлично работает для небольших CSV-файлов, но не для таких больших.Он продолжает выдавать ошибку сервера «не удалось получить информацию таблицы».

Используемые в настоящее время коды:

CREATE TABLE my_table( id int, text string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TEXTFILE;

и

LOAD DATA INPATH 'mypath/INPUT.csv' OVERWRITE INTO TABLE my_table;

Есть ли лучший способ загрузки больших файлов CSV?

Заранее спасибо

Answer 1

Можете ли вы создать таблицу, не упоминая формат файла (текст).

CREATE TABLE my_table(
  id int, 
  text string )
ROW FORMAT DELIMITED
FIELDS TERMINATED BY ',';

И затем, пожалуйста, загрузите файл в другое место, где была создана таблица.Тогда не могли бы вы попробовать использовать запрос загрузки данных inpath?