У меня есть случай, когда мне нужно создать таблицы Athena из файлов с разделителями табуляции, которые хранятся в моих папках в S3. Все эти файлы имеют первую строку в качестве столбцов заголовка - и каждый файл может иметь различный набор столбцов, которые мне не известны заранее.
Каков наилучший способ создания таблицы Athena путем чтения файла из S3 и присвоение первой строки в качестве имен столбцов? ( Учитывая , что все типы столбцов будут varchar, а все файлы будут разделены табуляцией.)
Ищем что-то вроде -
CREATE EXTERNAL TABLE IF NOT EXISTS my_database.my_table
ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe'
WITH SERDEPROPERTIES (
'serialization.format' = ' ',
'field.delim' = ' '
) LOCATION 's3://path/to/folder/'
TBLPROPERTIES ('has_encrypted_data'='false'); -- 'derive_column_names_from_first_row'='true'?