У меня есть склеенная задача, которая читает данные из S3, выполняет пару SQL-запросов к данным и выводит данные в Redshift.У меня странная проблема, когда при записи dynamic_frame в Redshift (используя glueContext.write_dynamic_frame.from_options) создаются новые столбцы.Это некоторые из моих существующих столбцов с добавленным в конец типом.Например, если моя схема кадра выглядит следующим образом:
id: string
value: short
value2: long
ts: timestamp
В Redshift я вижу:
id varchar(256)
value: smallint <---- The data here is always null
value2: bigint <---- The data here is always null
ts: timestamp
value_short: smallint
value2_long: bigint
Столбцы value_short и value2_long создаются во время выполнения(в настоящее время тестируется с кредитами, которые имеют права alter table)
При просмотре запущенной команды COPY я вижу столбцы value_short и value2_long в команде.Я не вижу столбцы, присутствующие в динамическом фрейме, до того, как они будут записаны с glueContext.write_dynamic_frame.from_options