Каталог мониторинга новых файлов с Flink для потоков данных - PullRequest
Новая
       42

Каталог мониторинга новых файлов с Flink для потоков данных

0 голосов
/ 28 октября 2019

В настоящее время я пишу свое первое приложение Flink и хотел бы отслеживать папку на наличие новых файлов. К сожалению, я не смог найти много примеров на эту тему.

Я обнаружил функцию readFile(fileInputFormat, path, watchType, interval, pathFilter, typeInfo) для мониторинга каталога. 

public static void main(String[] args) throws Exception {

    final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
    DataStream<String> inputStream = env.readFile(new TextInputFormat(new Path(filePath)),filePath, FileProcessingMode.PROCESS_CONTINUOUSLY, 100);
    inputStream.print();
    env.execute("Flink streaming test");

}

Я думал, что эта функция просматривает папку и читает файл, когда он добавляется в папку. Однако только первый добавленный файл читается. Думаю, я не совсем понял, как это работает. Может ли кто-нибудь объяснить мне, почему это не работает таким образом, и каким будет правильный путь?

...