Как записать файлы в Google Bucket, используя Apache Beam динамически?

Question

Я пытаюсь записать несколько файлов в Google Bucket, используя Apache Beam, но местоположение файла и имена папок генерируются из первого индекса в файле, так как мне создать этот словарь и записать в него мои файлы ?

metadata = (data_from_test |'CSVConversionMeta' >> beam.ParDo(WriteToCSVmeta())|'Writing To File' >> beam.io.WriteToText('gs://tester1212/CIK/YEAR/FILING/metadata.csv'))

Итак, это код, в который я записываю файл, но я хочу, чтобы ГОД был получен из csv и создал папку во время выполнения.

Answer 1

Если ваша дата известна до начала конвейера, вы можете сделать это

year="2020"
metadata = (data_from_test |'CSVConversionMeta' >> beam.ParDo(WriteToCSVmeta())|'Writing To File' >> beam.io.WriteToText('gs://tester1212/CIK/{}/FILING/metadata.csv'.format(year)))