Мне было интересно, что можно считать лучшей практикой, когда дело доходит до извлечения инкрементных данных из транзакционной таблицы Oracle, запущенной на месте, а затем передается в S3 в виде простого текста. Сжатие очень важно, так как размер таблицы достаточно высокий, может быть 16-20 столбцов в ширину.
Мой конвейер, как и сейчас, использует Oracle GoldenGate on-prem, также реплицирует on-prem в том же узле и создайте инкрементный текстовый файл, сожмите его, отправьте на S3, лямбда перехватит триггер putObject, распакует и добавит таблицу текстовых файлов на S3.
Примечание. Мне известно, что файлы трассировки OGG могут сжат. Это только потому, что высшее руководство считает, что при использовании в облаке OGoldenGate потребуются дополнительные расходы на лицензирование.
Любая помощь будет признательна.