Avro файлы с Json данными записываются в каталог hdfs каждые несколько минут. Например, если сегодняшняя дата 26.01.2020, будет создан каталог hdfs с именем 20200126. Тогда в этом каталоге hdfs будет много подкаталогов от 01 до многих. В каждом подкаталоге будет много файлов Avro.
Как я могу транслировать эти файлы в Kafka topi c, как только он будет создан в HDFS? После прочтения я могу удалить файлы.
Как я могу автоматизировать эту потоковую передачу?