кафка + чтение из лог файла темы - PullRequest
0 голосов
/ 24 ноября 2018

У меня есть файл журнала темы и соответствующий файл .index.Я хотел бы читать сообщения в потоковом режиме и обрабатывать его.Как и с чего мне начать?

  1. Должен ли я загрузить эти файлы производителю Kafka и прочитать из темы?
  2. Могу ли я напрямую написать потребителю прочитать данные из файла и обработать их?

Я просматривал веб-сайт Kafka и везде он использует предварительно созданные производители и потребители Kafka в примерах.Итак, я не мог получить достаточного руководства.

Я хочу читать потоковым способом на Java.

Текст выглядит зашифрованным, поэтому я не публикую входные файлы.

Любая помощь очень ценится.

1 Ответ

0 голосов
/ 25 ноября 2018

Вы можете сбросить сегменты журнала и использовать опцию глубокой итерации, чтобы десериализовать данные во что-то более удобочитаемое.

Если вы хотите «передать это», тогда используйте стандартный канал Unixдля вывода на какой-либо другой инструмент

выполните агрегатные операции

Затем используйте потоки Kafka для фактического чтения из темы для всех разделов, а не для отдельного раздела в этом отдельном посреднике

...