Использование нескольких текстовых файлов с помощью API Apache Flink DataSet

Question

Я пишу пакетное задание с Apache Flink, используя DataSet API. Я могу прочитать текстовый файл, используя readTextFile(), но эта функция просто читает один файл одновременно.

Я хотел бы иметь возможность поочередно использовать все текстовые файлы в моем каталоге и обрабатывать их по одному в одной и той же функции, что и пакетное задание с API DataSet,если это возможно.

Другой вариант - реализовать цикл, выполняющий несколько заданий, по одному для каждого файла, вместо одного задания, с несколькими файлами. Но я думаю, что это решение не самое лучшее.

Есть предложения?

Answer 1

Если я правильно понял документацию, вы можете прочитать весь путь, используя ExecutionEnvironment.readTextFile(). Вы можете найти пример здесь: Word-Count-Batch-Example

Ссылки:

• Flink Documentation
• Источники Flink