Нужно отправлять записи индивидуально, используя Apache NiFi для Kafka - PullRequest
2 голосов
/ 07 апреля 2019

Я читаю записи в потоковом / пакетном формате из самого файла журнала nifi-пользователя для тестового сценария и использую процессор ConvertRecord nifi для преобразования в формат Avro, а затем публикую в тему kafka с помощью процессора PublishKafka_2_0.Я также использую реестр схемы для подтверждения схемы.Так что теперь, когда записи сбрасываются на kafka, это делается как отдельный массив, а не как отдельные записи.Есть ли способ разбить записи на отдельную сущность.Я уже пробовал процессор Split Records, кажется, не подходит.Есть ли другой способ добиться этого.

- Обновлено

1 Ответ

0 голосов
/ 23 июня 2019

Для правильной обратной связи, пожалуйста, поделитесь потоком, который воспроизводит проблему, однако следующие шаги, мы надеемся, сделают то, что вы ищете:

  • Разделите ваше сообщение непосредственно перед отправкой в ​​Kafka и подтвердите, что разделениедействительно успешно
  • Попробуйте опубликовать Kafka record 2.0 вместо Publish Kafka 2.0
  • Установить максимальный размер сообщения 1 байт вместо 1 МБ?!
...