Как мы можем читать файлы с несколькими последовательностями в Apache Flink параллельно как пакетное задание - PullRequest
0 голосов
/ 15 мая 2018

У меня есть сценарий чтения файлов последовательности в виде пакетного задания в наборе данных Flink.Файлы хранятся в корзине S3, которую я должен использовать в наборе данных Flink.Я не могу читать файлы, предоставляя пути к файлам через запятую (,) для чтения в наборе данных.Я не могу прочитать данные в файле, используя цикл, так как в корзине много файлов.Кроме того, функция union для наборов данных Flink, похоже, дает сбой после нескольких итераций.Может кто-нибудь помочь мне с созданием специального читателя файла Sequence, который будет работать для этого случая, как предусмотрено в Spark.

...