AWS DMS CD C задача не обнаруживает изменения имени и типа столбца

Question

Я создал задачу CD C, которая фиксирует изменения в исходной схеме PostgreSQL и записывает их в формате Parquet в целевую корзину S3. Задача фиксирует вставки, обновляет и удаляет правильно, но не в состоянии регистрировать изменения имени и типа столбца в источнике.

Когда я изменяю имя столбца или тип таблицы в источнике и вставляю новые строки в таблицу , полученный файл Parquet использует старое имя и тип столбца.

Есть ли конкретная c конфигурация, которую мне не хватает? или невозможно достичь желаемого результата от этой задачи в DMS?

Answer 1

, если вы измените столбец в источнике, и DMS будет автоматически выбирать из источника и обновлять в месте назначения. проверьте настройки DMS. вам не нужно вручную добавлять столбец в месте назначения

Answer 2

Убедитесь, что в настройках задачи для параметра HandleSourceTableAltered установлено значение true. [1] (Этот параметр применяется, когда для целевого параметра метаданных BatchApplyEnabled установлено значение true или false.)

То же самое относится к HandleSourceTableDropped или HandleSourceTableTruncated, если это применимо в вашем случае.

Очевидно, что ранее реплицированные файлы Parquet на S3 не изменятся, чтобы отразить это изменение DDL на источнике.

[1] https://docs.aws.amazon.com/dms/latest/userguide/CHAP_Tasks.CustomizingTasks.TaskSettings.DDLHandling.html