Сообщение отображения Кафки (с использованием Java Spark)

Question

У меня есть тема Кафки, которая содержит JSON, пример:

{"jsonCode":"1234", "jsonData":{.....}}
{"jsonCode":"1234", "jsonData":{.....}}
{"jsonCode":"1235", "jsonData":{.....}}
{"jsonCode":"1235", "jsonData":{.....}}
{"jsonCode":"1236", "jsonData":{.....}}

У меня вопрос, могу ли я создать следующую хеш-карту во время чтения из темы:

["1234", [list of jsonCode 1234 jsons]
["1235", [list of jsonCode 1235 jsons]
["1236", [list of jsonCode 1236 jsons]

Это возможно? Как я могу сделать это отображение?

Я хочу читать из Кафки с помощью SparkStreamming, чтобы получить все непрочитанные сообщения по теме и создать хэш-карту

Спасибо.

Answer 1

У вас есть какие-либо настройки конфигурации потребителя в вашем коде. Конфигурация потребителя обычно требует пары ключ и значение.

Проверьте, читая из темы, можете ли вы читать значения в терминах пар ключ-значение. Обычно ваш потребитель должен быть таким:

final Consumer<yourKey,yourValue> consumer;  //consumer with consumer config
final ConsumerRecords<String, String> consumerRecords = consumer.poll(pollvals);
   consumerRecords.forEach(record -> {
                System.out.printf("[Consumer Record:(key - %s,value- %s,partition- %d, offset %d)]\n", record.key(),
                        record.value(), record.partition(), record.offset());

                //parse your json from either key or from value
                String value=null;
                 .....     
               value = jsonparser(record.value()); // lets parse from value.
                 ...