AWS S3 - Афина без сжатия gz - PullRequest
0 голосов
/ 11 июня 2019

Я создаю таблицу со следующим утверждением в AWS Athena:

CREATE TABLE table2
WITH 
(
  format='JSON',
  external_location='s3://bucket/path'
) AS
SELECT field1, field2, field3, field4, field5, field6
FROM table1
ORDER BY field1, field2

Однако, когда я смотрю на external_location, я вижу, что все файлы сжаты в формат gz.Можно ли отключить сжатие?То есть просто запишите сырой JSON в корзину S3.

1 Ответ

1 голос
/ 14 июня 2019

В настоящее время невозможно создавать несжатые файлы с помощью функции CTAS Athena.Для ORC и Parquet вы можете выбрать тип сжатия, но для всех других форматов будет использоваться gzip, нравится вам это или нет.

Немного иронично, что, хотя вы не можете получить вывод CTAS без сжатия, естьнет способа получить сжатый вывод обычного запроса.

...