apache beam Javadoc имеет что-то вроде этого:
FileBasedSource<T> mySource = ...;
PCollection<T> collection = p.apply(Read.from(CompressedSource
.from(mySource)
.withCompression(Compression.GZIP)));
Как создать mySource, чтобы он указывал на zip-файл на локальном диске или в облачном хранилище?
В основном я заархивировал кучу файлов protobuf, которые будут входом моего конвейера. Таким образом, двоичные файлы, а не текстовые файлы.