Я сталкиваюсь с этой ошибкой при попытке скопировать данные из Parquet в S3 в Redshift:
S3 Query Exception (Fetch). Task failed due to an internal error. File
'https://...../part-00000-xxxxx.snappy.parquet
has an incompatible Parquet schema for column 's3://table_name/.column_name'.
Column type: INT, Parquet schema:
optional fixed_len_byte_array COLUMN_NAME
Я подозреваю, что это потому, что файл Parquet имеет числовой / десятичный тип с большей точностью, чем при подгонкев столбец INT, однако я считаю, что все фактические значения находятся в пределах диапазона, в который они поместились бы.(Ошибка не указывает номер строки.)
Есть ли способ принудительно преобразовать тип в COPY и принимать сбои в отдельных строках (как в CSV) вместо сбоя всего файла?