Поток данных - хранение объектов avro в неизвестных папках GCS

Question

У меня есть конвейер DataFlow, который потребляет JSON сообщений из Cloud Pub / Sub, преобразует их в Avro и сохраняет их в облачном хранилище Google.

Есть ли способ хранить DataFlow в каждом Avro? Объект в другую папку в GCS в соответствии с определенным полем JSON, если его значение может быть на самом деле что-нибудь? в другую таблицу BigQuery.

Answer 1

Функция writeDynamic() здесь удовлетворяет то, что вам нужно? Кажется, что «Пример: запись файлов CSV в разные каталоги и с разными заголовками» на этой странице аналогична тому, что вы хотите сделать.