тот же текстовый файл из источника данных в HDFS, используя flafka

Question

Я разрабатываю нижеприведенную архитектуру:

1) flume agent_a подгоняет текстовые файлы в каталоге источника данных и перемещаю их в теме kafka.

2) flume agent_b перемещает текстовый файл из темы kafka в hdfs.

Я немного запутался в этой проблеме:

Как я могу быть уверен, чтоagent_b будет принимать данные из раздела kafka для того, чтобы загружать в HDFS точно такой же текстовый файл (ту же строку, в той же последовательности), который agent_a взял из каталога источника данных?.

Tnks

Answer 1

Flume должен поддерживать смещение источника для входного файла и пакетировать его в Kafka Producer в указанном порядке.

Если у вас есть несколько разделов в теме Kafka, вы не можете дать никаких гарантий заказа.