Snowflake: выгрузить данные таблицы в JSON, как обойтись без сжатия .gz? - PullRequest
0 голосов
/ 06 августа 2020

создать или заменить этап elasticsearch_dev url = 's3: // s3bucket / ElasticSearch' credentials = (aws_role = 'arn: aws: iam :: XXXXXXX: role / role_snowflake')

скопируйте в @ elasticsearch_dev / test / SAMPLE. json from (выберите To_ JSON (object_construct (*)) из Sample) file_format = (type = json), overwrite = TRUE;

Я выгружаю образец таблицы в формат JSON в s3, когда я смотрю в S3, файл сжат как SAMPLE.json_0_0_0. json .gz

Файл s3 не должно сжиматься , должно быть как SAMPLE.json_0_0_0. json.

Как я могу этого добиться?

Ответы [ 2 ]

0 голосов
/ 06 августа 2020

Сжатие на самом деле является хорошей практикой. Я уверен, что у вас есть вариант использования без сжатия. Я еще не пробовал это, но похоже, что в formatTypeOptions вы можете отключить сжатие, как показано ниже, установив COMPRESSION на NONE

- Если FILE_FORMAT = (TYPE = JSON ... ) СЖАТИЕ = АВТО | GZIP | BZ2 | БРОТЛИ | ZSTD | ВЫПУСКАТЬ | RAW_DEFLATE | НЕТ

0 голосов
/ 06 августа 2020

используйте параметр Compression = none

Это объяснено в документации Snowflake вместе со всеми другими параметрами, которые вы можете использовать: https://docs.snowflake.com/en/sql-reference/sql/copy-into-location.html#type - json

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...