Копирование данных столбца из s3 в заданном порядке c

Question

Привет, поставщик, которого я использую для извлечения данных, решил вставить новый столбец без сохранения порядка столбцов в CSV-файл, который они перетаскивают в мое хранилище s3, что приводит к сбою моих ежедневных заданий. Я использовал в операторе alter добавление нового столбца (имя_канала) в конец моей таблицы и обновил свой оператор копирования, чтобы указать отображение столбца, но все равно получаю то же сообщение об ошибке.

COPY myschema.chat_msg
(direction,text,channel,"user",date,sentiment,tags,filters,source_link,chatdesk_trends_message_id,chatdesk_trends_link,channel_name)
FROM 's3://myfile.csv'
CREDENTIALS 'MY CREDENTIALS
IGNOREHEADER 1
DATEFORMAT 'auto'
TIMEFORMAT 'auto'
MAXERROR 0
CSV
region as 'us-east-1'

Ошибка сценария в столбце пользователя и причина ошибки - недопустимые данные. Столбец «имя_канала» был вставлен после столбца «канал», в результате чего данные сместились вправо.

Answer 1

Я немного озадачен порядком столбцов в вашем CSV и скрипте. Было ли название канала добавлено как последний столбец в CSV? Или он был добавлен после столбца канала?

Если у вашего csv есть имя канала после канала, то вам придется писать столбцы в том же порядке, что и ваш csv, чтобы копировать для сопоставления столбцам. При использовании копирования для загрузки из плоских файлов, например, из корзины Amazon S3, их порядок должен соответствовать порядку исходных данных.