Я использую соединитель раковины kafka s3 для перемещения файлов с kafka на s3. У меня есть пользовательский разделитель, и каждое сообщение должно быть записано в один объект в s3, поэтому я сделал flu sh .size = 1.
У нас около 120 миллионов файлов и с flu sh .size = 1 это занимает вечность.
Можно ли как-нибудь объединить несколько объектов, чтобы сделать это быстрее?
В kafka topi c есть 4 раздела, и максимальное количество задач kafka connect равно 4. Я проверил, что 4 задачи запущены на 3 разных рабочих в распределенном режиме. Я использую kubernetes, где работают рабочие модули kafka connect.