Я использую преобразование записей в AWS Firehose для преобразования потоковых данных о событиях в паркет, прежде чем выгружать их в озеро данных.Во время моего тестирования схема в клею прошла через несколько разных версий, некоторые из которых были с ошибками.Когда я отправляю идентичные тестовые события через пожарный шланг (от 30 до 90 одновременно), я замечаю, что некоторые события не приходят в озеро, и появляются ошибки в каталоге format-conversion-failed в той же корзине, что и мое озеро.Ошибки внутри этих файлов часто указывают на ошибки в схеме из предыдущих версий.
Похоже, что осколки Firehose держатся за кэшированные версии схемы.
Когда я обновляю схему, как я могу гарантировать, что всеОсколки пожарного рукава будут использовать новую схему?