Условия Kinesis Data Firehose и Glue Race

Question

Мы используем Kinesis Data Firehose для записи данных RDS CD C в сегменты S3 в виде необработанных файлов json. Наша конфигурация Kinesis Firehose составляет 128 МБ и 60 секунд на создание файлов S3. У нас есть задание по склеиванию, которое отслеживает ведра s3 и забирает эти json файлы. У нас есть вопрос, не столкнемся ли мы с условиями гонки между файлом json, который в настоящее время записывается Kinesis Firehose и Glue. Я посмотрел FAQ, но никаких указателей не нашел. Пожалуйста, дайте мне знать, возможно ли состояние гонки и какие стратегии могут смягчить это условие https://aws.amazon.com/kinesis/data-firehose/faqs/

Answer 1

Если вы беспокоитесь, что ваша работа по склеиванию начнет работать с частично написанным файлом Kinesis, тогда вы должны знать, что операции S3 - это atomi c, как показано в модели согласованности данных Amazon S3. :

Обновления для одного ключа: atomi c. Например, если вы PUT к существующему ключу, последующее чтение может вернуть старые или обновленные данные, но никогда не возвращает поврежденные или частичные данные .