Kafka Producer для публикации сообщений из XML-файла в Kafka Topic - PullRequest
0 голосов
/ 16 мая 2018

У меня есть сценарий использования "XML-файл ==> Тема Kafka ==> Построить REST API для запроса" данных из тем Кафки. Я знаком с преобразованием данных в формат Avro и пишу в кафку тему.

Не могли бы вы предложить, как опубликовать XML?

Файл данных содержит несколько записей для темы кафки, а при использовании данных из тем кафки, как получить доступ из Rest API?

Я также пытался опубликовать с помощью kafka-console -roduction, но ключ заполнялся как NULL для каждой строки XML-файла вместо XML-записи.

код выглядит следующим образом.

producer.sendMessage(linenum, line);

public static final String fileName = "testfolder/memberdetails.xml";

public void sendMessage(String key, String value) {

            producer.send(
                    new ProducerRecord<String, String>(topicName, key, value))

            System.out.println("Sent message: (" + key + ", " + value + ")");
        } 
}

1 Ответ

0 голосов
/ 17 мая 2018
  1. Загрузка XML-файлов с помощью Kafka Connect и преобразование XML
  2. Обслуживание данных из раздела Kafka с использованием открытого источника Confluent REST Proxy (доступно как часть Confluent Platform , или автономный )
...