Я уже пролистал блог на Ровно однажды гарантия на разъем S3 Kafka
Это то, что я знаю до сих пор, учитывая, что я собираюсь использовать Разделитель по умолчанию:
- timestamp.extractor должен быть установлен в RECORD
- Для скользящей стратегии должно быть установлено rotate.interval.ms
Мне все еще нужен обзор по нескольким вещам:
Для извлечения метки времени c мы просим соединитель извлечь метку времени из записи kafka. Если я хочу, чтобы эта временная метка была LOG_APPEND_TIME, мне нужно убедиться, что для topi c, с которого я читаю, должен быть message.timestamp.type, равный LOG_APPEND_TIME.
Причина, по которой я не хотел использовать время создания, заключалась в том, что производители могут работать с разными часами. Но потом я понял, что то же самое может происходить среди брокеров в кластере. Особенно временная метка не всегда монотонно увеличивается при смене лидера. Я продолжил поиск и увидел, что Кафка явно обрабатывает и этот сценарий
Нет сведений о том, оказывает ли tasks.max какое-либо влияние на разъем S3. Могу ли я предположить, что если соединитель считывает данные с topi c с 5 разделами, то для tasks.max можно установить значение 5?
Я прочитал, что мы можем определить потребитель, связанный с свойства у работника. Свойства кафки коннектятся. Обязательно ли устанавливать уровень изоляции потребителя на read_committed ровно один раз для работы? или это то, что обрабатывается внутренним разъемом S3?
Пожалуйста, дайте мне знать, если что-то из этого неправильное / избыточное.