Создайте CSV-файл представления в кусте и поместите его в s3 с заголовками, исключая имена таблиц

Question

У меня есть вид в улье с именем prod_schoool_kolkata.Я имел обыкновение получать CSV как:

hive -e 'set hive.cli.print.header=true; select * from prod_schoool_kolkata' | sed 's/[\t]/,/g' > /home/data/prod_schoool_kolkata.csv 

, который был в EC2-Экземпляре.Я хочу, чтобы путь был в S3.Я попытался указать путь следующим образом:

hive -e 'set hive.cli.print.header=true; select * from prod_schoool_kolkata' | sed 's/[\t]/,/g' > s3://data/prod_schoool_kolkata.csv

Но CSV не сохраняется.

У меня также была проблема, что файл CSV генерируется, но каждый заголовок столбца имеет шаблон, как: tablename.columnname например prod_schoool_kolkata.id.Есть ли способ удалить имена таблиц в CSV формируется.

Answer 1

Сначала необходимо установить интерфейс командной строки AWS.

См. Ссылку: Установка интерфейса командной строки AWS и следуйте соответствующим инструкциям по установке или перейдите в разделы внизу, чтобы получить ссылки для установки, относящиеся к вашей операционной системе ( Linux / Mac / Windows и т. Д.).

После проверки правильности установки вы можете запускать обычные команды, такие как cp, ls и т. Д., В файловой системе aws. Итак, вы могли бы сделать

hive -e 'set hive.cli.print.header=true; select * from prod_schoool_kolkata'|
sed 's/[\t]/,/g' > /home/data/prod_schoool_kolkata.csv

aws s3 cp /home/data/prod_schoool_kolkata.csv s3://data/prod_schoool_kolkata.csv

Также см. Как использовать инструмент командной строки S3