Я использую Kafka connect для загрузки файлов в HDFS, Kafka connect имеет TopicPartitionWriter, который выполняет ролловер по времени для всех разделов, и нет ролловера на основе размера.
Я хочу сделать ролловер на основе размера и времени но для каждого раздела, так как при передаче данных, хотя каждый раздел не является однородным, также файлы одинакового размера.
2 вопроса: 1. Если я попытаюсь сделать это, изменив много кода в Kafka Connect, который потеряет оригинал дизайн ? 2. Что-нибудь сделано для моего варианта использования?