Как мы можем загрузить данные в улей, используя URL - PullRequest
Новая
       19

Как мы можем загрузить данные в улей, используя URL

0 голосов
/ 30 мая 2019

Я создал таблицу в улье, и мне нужно загрузить данные CSV в таблицу улья, но данные в github (я скачал и протестировал, он работает нормально) Мне нужно загрузить данные непосредственно с URL-адреса, можно ли загрузить данные в куст с URL-адреса

что-то вроде этого может работать 

LOAD DATA  INPATH 'https://github.com/xx/stock-prices.csv' INTO TABLE 
stocks;

1 Ответ

0 голосов
/ 30 мая 2019

Загрузка данных из плоских файлов в Hive может быть выполнена с помощью следующей команды.

От Apache Hive Wiki : 

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)]

LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABLE tablename [PARTITION (partcol1=val1, partcol2=val2 ...)] [INPUTFORMAT 'inputformat' SERDE 'serde'] (3.0 or later)

Если указано ключевое слово LOCAL,Hive ищет путь к файлу в локальной файловой системе и загружает оттуда.Если ключевое слово LOCAL не указано, Hive ищет путь к файлу в Файловая система HDFS и загружает туда данные.

Вы можете указать полный URI для файлов HDFS, а также для локальных файлов.

Пример: 

file:///user/data/project/datafolder (Local Path)

hdfs://namenode:10001/user/data/project/datafolder (HDFS path)

Это означает, что невозможно загрузить данные непосредственно в улей из https.Поэтому сначала нужно загрузить данные и загрузить их в улей.

Это не решение, а правильный ответ.

...