У меня есть конвейер потока данных, в котором я использую приведенный ниже метод AvroIO для чтения определенного файла avro с известной схемой.
Однако я хотел бы прочитать все файлы в каталоге, соответствующие расширению файла.шаблон рекурсивно в конвейере вместо чтения одного файла .. Нужна помощь в этом
pipeline.apply("Read from Avro",
AvroIO.readGenericRecords(schema).from("gcs://test/test.avro")