Как остановить перенос данных в кустах, когда куст загружает файлы из HDFS в таблицы?

Question

Версия Hive 3.1.0, а sql LOAD DATA INPATH 'filepath' OVERWRITE INTO TABLE tablename. filepath может ссылаться на файл (в этом случае Hive переместит файл в таблицу) или это может быть каталог (в этом случае Hive переместит все файлы в этом каталоге в таблицу). Я надеюсь, что куст только копирует файлы, а не перемещает в каталог хранилища куста, потому что файлы также используются в других местах. Что мне делать?

Answer 1

LOAD DATA команда перемещает файлы. Если вы хотите скопировать, используйте одну из следующих команд:

Используйте команду copyFromLocal:

 hdfs dfs -copyFromLocal <localsrc> URI

или put команда:

 hdfs dfs -put <localsrc> ... <dst> 

Если ваши файлы уже находятся в HDFS, вы также можете создать таблицу / раздел поверх этого каталога, указав location, не копируя их вообще. ALTER TABLE SET Местоположение также будет работать.