Мне нужно сохранить CSV-файл из Google Dataflow / Beam на внешний сервер
В этом посте я нашел нечто похожее: Как записать результат в файлы JSON в gcs в Dataflow / Beam
Pipeline p = Pipeline.create();
p.apply("ReadFromKafka", KafkaIO.read()
.withTopic(myTopic)...)
.apply("TransformData", ParDo.of(new
FormatKafkaDataToBigQueryTableRow(mySchema))
.apply(BigQueryIO.writeTableRows()
.to(myTableName)
.withSchema(mySchema));
p.run().waitUntilFinish();
Мне интересно, возможно ли это сделать в GCP из-за безопасности и ограничений.Кто-нибудь делал что-нибудь подобное?