Снежинка не принимает формат файла при массовой загрузке

Question

Я создаю несколько новых задач ETL для нашего конвейера данных. В настоящее время у нас есть несколько сотен загружаемых данных из различных сегментов S3.

Таким образом, это будет go примерно так:

create or replace stage ETL_STAGE url='s3://bucketname/'
  file_format = csv_etl;

create or replace file format csv_etl
  type = 'CSV'
  field_delimiter = ','
  skip_header = 1
  FIELD_OPTIONALLY_ENCLOSED_BY='"'

copy into db.schema.table
  from @ETL_STAGE/Usage
  pattern='/.*[.]csv'
  on_error = 'continue'

Однако всякий раз, когда я использую это, мой формат файла не только не не избегая заключенных в двойные кавычки, он даже не пропускает заголовок, поэтому я получаю следующее:

Довольно озадачен этим, так как я на 99% уверен, что параметры форматирования здесь верны.

+-------------------+----------+----------------+---------------------+-------------------+
| "Usage Task Name" |  "Value" |  "etl_uuid"    | "etl_deviceServer"  |  "etl_timestamp"  |
| "taskname"        |  "0"     | "adfasdfasdf"  | "hostserverip"      | "2020-04-06 2124" |
+-------------------+----------+----------------+---------------------+-------------------+

Answer 1

Запустите команду ниже, включая file_format. Это применило формат файла при загрузке файла:

  copy into db.schema.table
  from @ETL_STAGE/Usage
  pattern='/.*[.]csv'
  on_error = 'continue'
  file_format = csv_etl;