Каковы соответствующие значения для следующих свойств брокера Kafka для производственной системы?
log.flush.interval.messages
log.flush.interval.ms
В моем жестком диске st1 слишком много запросов ввода-вывода для небольших операций ввода-вывода, которые я хотел бы оптимизировать. Поможет ли изменение этих свойств? Каковы компромиссы?
Кроме того, как эти свойства настраиваются в любой типичной производственной системе?
У нас есть 5 брокеров Kafka (r5.xlarge) с подключенным жестким диском st1. Наша обычная скорость ввода данных составляет около 2 Мбит / с в пиковое время и 700-800 Кбит / с в обычное время.