Объедините маленькие сообщения в kafka topi c в один большой файл

Question

У меня есть kafka topi c с большим количеством сообщений.

1. Первый шаг , я хочу объединить их для размера повернутых файлов (10 МБ) или, если есть нет сообщений, файлы, повернутые по времени (макс. 1 час)
2. Второй шаг , После каждого объединения я хочу добавить сообщение в другую Kafka topi c с URL-адресом файл.

Я знаю, что могу комбинировать через kafka-разъем, но я не могу комбинировать по размеру, только по времени. Другая проблема с кафкой-коннектором заключается в том, что я не нашел способа удовлетворить " Второй шаг "

Есть идеи, ребята?

Answer 1

Нет смысла объединять сообщения.

Сообщения Kafka по умолчанию имеют максимальный размер сообщения 1 МБ.

Кафка не значит для передачи файлов. Если вам нужно, используйте URI, как вы говорите, или добавьте Apache NiFi к вашей обработке.

Непонятно, на какой Kafka Connector вы ссылаетесь