В записи для записей Max Poll установлено значение 1, чтобы гарантировать, что события в одном файле потока происходят из одного и того же раздела. https://community.hortonworks.com/articles/223849/simple-backup-and-restore-of-kafka-messages-via-ni.html
Означает ли это, что при использовании Message Demarcator события в одном и том же FlowFile могут быть из разных разделов?
из исходного кода Я думаю, что вышеупомянутое мышление верно? https://github.com/apache/nifi/blob/ea9b0db2f620526c8dd0db595cf8b44c3ef835be/nifi-nar-bundles/nifi-kafka-bundle/nifi-kafka-0-9-processors/src/main/java/org/apache/nifi/processors/kafka/pubsub/ConsumerLease.java#L366
При использовании демаркатора он создает пакет для каждой темы / раздела, поэтому вы получите потоковые файлы, в которых все сообщения принадлежат одному разделу темы:
https://github.com/apache/nifi/blob/ea9b0db2f620526c8dd0db595cf8b44c3ef835be/nifi-nar-bundles/nifi-kafka-bundle/nifi-kafka-0-9-processors/src/main/java/org/apache/nifi/processors/kafka/pubsub/ConsumerLease.java#L378
Причина, по которой пост установил максимальное количество записей пула в 1, была объяснена в посте, потому что ключ сообщений доступен только при наличии 1 сообщения на файл потока, и в этом случае им нужен ключ. В общем, лучше этого не делать и иметь много сообщений на файл потока.