В настоящее время я пишу свое первое приложение Flink и хотел бы отслеживать папку на наличие новых файлов. К сожалению, я не смог найти много примеров на эту тему.
Я обнаружил функцию readFile(fileInputFormat, path, watchType, interval, pathFilter, typeInfo)
для мониторинга каталога.
public static void main(String[] args) throws Exception {
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
DataStream<String> inputStream = env.readFile(new TextInputFormat(new Path(filePath)),filePath, FileProcessingMode.PROCESS_CONTINUOUSLY, 100);
inputStream.print();
env.execute("Flink streaming test");
}
Я думал, что эта функция просматривает папку и читает файл, когда он добавляется в папку. Однако только первый добавленный файл читается. Думаю, я не совсем понял, как это работает. Может ли кто-нибудь объяснить мне, почему это не работает таким образом, и каким будет правильный путь?