Можно ли указать преобразование формата данных в AWS Cloudformation? - PullRequest
0 голосов
/ 26 сентября 2018

Документы AWS выглядят так, как будто вы можете указать DataFormatConversionConfiguration для AWS::KinesisFirehose::DeliveryStream в облачной информации, но это не документация о том, куда должно идти свойство.Попытался добавить его под Properties, ExtendedS3DestinationConfiguration, ProcessingConfiguration и одним из Processors.Каждый раз CF жалуется с -

Следующие ресурсы не удалось обновить: [EventFirehose].12:24:32 UTC-0500

UPDATE_FAILED AWS :: KinesisFirehose :: DeliveryStream EventFirehose Обнаружено неподдерживаемое свойство DataFormatConversionConfiguration

Есть собственные документы, скажем -

Если вы хотите, чтобы Kinesis Data Firehose преобразовал формат ваших входных данных из JSON в Parquet или ORC, укажите необязательный элемент DataFormatConversionConfiguration в ExtendedS3DestinationConfiguration или ExtendedS3DestinationUpdate.

Что я делаю не так?

1 Ответ

0 голосов
/ 27 сентября 2018

Согласно документации SDK , она должна быть внутри ExtendedS3DestinationConfiguration или ExtendedS3DestinationUpdate.Однако облачная информация в настоящее время NOT поддерживает это свойство в соответствии с этим документами .Это очень распространенное расхождение между облачной информацией и другими сервисами AWS.Здесь упоминается одна подобная проблема AWS ECS: серьезная ошибка в шаблоне ECS Service Cloudformation (которая недавно была устранена).

В настоящее время вы можете обновить через SDK или подождать некоторое время, чтобы облачность наверстала упущенное.

Если вы хотите, чтобы Kinesis Data Firehose преобразовал формат ваших входных данныхот JSON до Parquet или ORC укажите необязательный элемент DataFormatConversionConfiguration в ExtendedS3DestinationConfiguration или в ExtendedS3DestinationUpdate

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...