Написание нескольких записей из одного сообщения в Kafka Connect

Question

Если по одной теме я получаю сообщения в каком-либо формате, представляющем список идентичных структур (например, список JSON или повторяющееся поле в protobuf), могу ли я настроить Kafka Connect для записи каждой записи в списке в виде отдельной строки (скажем,в паркетном файле в HDFS или в базе данных SQL)?Возможно ли это, используя только входящие в комплект преобразователи / соединители?

То есть я могу использовать каждое сообщение Kafka для представления тысяч записей, а не для отправки тысяч отдельных сообщений?

Что было бы простым способомдобиться этого с Kafka Connect?

Answer 1

Связанные преобразования сообщений способны только к однозначным манипуляциям с сообщениями.Следовательно, вам придется явно создавать эти сплющенные списки каким-либо образом (напрямую или через приложение потоковой обработки), если вы хотите, чтобы Connect записывал их как отдельные записи.

Или, если применимо, вы можете использовать Hive или Spark для расширения этого списка, а также для последующей обработки.