Как поддерживать CDC с помощью AWS Glue - PullRequest
0 голосов
/ 08 февраля 2019

Мы сравниваем возможности Change Data Capture (CDC) для AWS Glue для SnapLogic и Informatica.AWS Glue имеет возможность обнаруживать изменения в структуре данных .

Я ищу конкретные примеры того, как обнаружить изменения данных (т.е. измененные данные или новые данные) .Кто-то использовал AWS Glue для добавления только новых / измененных записей?Если да, то как?

1 Ответ

0 голосов
/ 11 февраля 2019

Два варианта для получения CDC в связке: 1. Используя столбец аудита в исходной базе данных и передавая его в sql для извлечения данных 2. Если данных не больше, чем несколько сотен тысяч записей, то извлекайте полные данные исравнить с помощью искры sql.

...