Загрузить данные даты из S3 (ИЛИ C) в Redshift - PullRequest
Новая
       12

Загрузить данные даты из S3 (ИЛИ C) в Redshift

0 голосов
/ 18 января 2020

Данные S3 (ИЛИ C Формат):

или c - данные инструментов данных. Или c

{"date_id":"2020-01-15","counter":3}
{"date_id":"2020-01-15","counter":56}

ИЛИ C Схема: 

Type: struct<date_id:string,counter:bigint>

Схема красного смещения: 

CREATE TABLE IF NOT EXISTS  mytable (
  date_id                                       DATE ENCODE zstd,
  counter                                       BIGINT ENCODE zstd
)
COMPOUND SORTKEY(date_id);

Когда я пытаюсь скопировать данные в красное смещение, я получаю следующую ошибку: 

Task failed due to an internal error. In file s3://<path> declared column type TIMESTAMP
for column date_id incompatible w

Команда копирования: 

copy db.mytable from 's3://<path>' credentials '<iam_role>' format as orc;

Я пытался изменить схему красного смещения с date_id в качестве TIMESTAMP, та же ошибка. Более подробно изучив документацию AWS, файлы COPY of OR C не поддерживают DATEFORMAT или TIMEFORMAT. https://docs.aws.amazon.com/redshift/latest/dg/copy-usage_notes-copy-from-columnar.html

Как скопировать date данные из формата s3 ИЛИ C в красное смещение?

...