У меня есть таблица в AWS Glue, в которой для хранения данных используется корзина S3.Я хочу выполнить запрос Athena для этой существующей таблицы и использовать результаты запроса для создания новой таблицы Glue.
Я попытался создать новую таблицу Glue, указав ее в новом месте в S3 и отправив по трубопроводуЗапрос Athena приводит к тому местоположению S3.Это почти выполняет то, что я хочу, но
- файл .csv.metadata помещается в это место вместе с фактическим выводом .csv (который читается таблицей Glue, так как он читает все файлы вуказанное местоположение s3).
- Файл csv помещает двойные кавычки вокруг каждого поля, что разрушает любую fieldSchema, определенную в таблице склеивания, которая использует числа
Все эти службы предназначены для совместной работы, поэтомудолжен быть правильный способ сделать это.Любой совет будет высоко ценится:)