Файлы таблиц LOAD DATA INPATH начинаются с некоторой строки в Impala

Question

Просто простой вопрос, я новичок в Импале.

Я хочу загрузить данные из HDFS в мой набор данных, используя impala.

Итак, у меня есть csv this_is_my_data.csv, и я хочу загрузить файл без указания всех расширений, я имею в виду что-то вроде следующего:

LOAD DATA INPATH 'user/myuser/this_is.* INTO TABLE my_table

Этострока, начинающаяся с this_is и все последующие.

Если вам нужна дополнительная информация, пожалуйста, дайте мне знать.Заранее спасибо.

Answer 1

Документация гласит:

Можно указать путь HDFS для отдельного файла, который нужно переместить, или путь HDFS для каталога, чтобы переместить все файлы внутри этого файла.каталог.Вы не можете указать какой-либо подстановочный знак, чтобы брать только некоторые файлы из каталога.

Обходной путь - поместить ваши файлы в табличный каталог с помощью команды mv или cp.Проверьте каталог таблицы с помощью команды DESCRIBE FORMATTED и выполните команду mv или cp (в оболочке, конечно, не в Impala):

hdfs dfs -mv "user/myuser/this_is.*" "/user/cloudera/mytabledir"

Или поместите файлы, которые вы должны загрузить в какой-то каталог, а затемзагрузить весь каталог.