У меня есть данные в формате XML. Я хочу отправить эти XML-данные в Kafka и использовать XML-данные в качестве данных JSON в потоковой структурированной искре. Но я не знаю, как я могу это сделать. В каком формате я должен отправлять и получать данные в / из Кафки? Есть ли эффективный способ?
РЕДАКТИРОВАТЬ: я могу преобразовать XML-строку в JSON-строку в spark-scala, для этой операции я напишу функцию UDF. Но будет ли эта функция udf работать параллельно в кластере?