Kinesis Firehose в S3 в формате Parquet (и сжатие Snappy) - PullRequest
0 голосов
/ 17 июня 2020

Я настроил AWS DMS и взял данные с моего SQLServer RDS в Kinesis Streams, а затем в Kinesis Firehose и теперь хочу записать данные в S3 в сжатом формате Parquet (Snappy). В консоли для Firehose говорится, что мне нужно указать схему для исходных записей. Это необходимо? ... если да, то как мне взять определение исходных данных и создать Glue Catalog для использования на этом этапе? Кроме того, если я добавлю в таблицу столбцы с дополнительными необязательными столбцами, которые может добавить Kinesis Streams (например, время транзакции), нужно ли будет их также определять в каталоге?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...