Я пытаюсь написать задание потока данных в Beam / Java, чтобы обработать серию событий, приходящих...

У меня есть сценарий использования, когда мне нужно перенести 70 ТБ данных из DynamoDB в BigTable и...

У меня много данных, которые регулярно собираются из источников данных и хранятся в корзинах GCS. В...

Я использую CSVRecordSource для чтения CSV в конвейере Apache Beam, который использует open_file в...

У меня есть конвейер потока данных, работающий на GCP, который читает сообщения из pub / sub и...

До сих пор играл с этим в течение достаточно долгого времени, и я изо всех сил пытаюсь найти лучшее...

Я пытаюсь реализовать функцию ListFlatten, я реализовал ее, используя SimpleDoFn, которая работает...

У меня есть данные от веб-пользователей в Firestore. Я вставил некоторые из этих данных в Google...

До сих пор я пытался написать 1 файл паркета для каждого объекта Window, но в итоге я получаю так...

Недавно разрабатывался потребитель Dataflow, который считывал из подписки PubSub и выводил в файлы...

Я пытаюсь передать сообщение PubSub типа JSON в базу данных ключей, и insert_update работает очень...

После выполнения в течение 17 часов мое задание Dataflow завершилось неудачно со следующим...

Я хочу использовать данные из данных, которые запускаются в моем конвейере, чтобы сгенерировать...

Прямо сейчас я просто могу получить значение RunTime внутри класса, используя ParDo, есть ли другой...

Я пытаюсь написать конвейер Apache Beam, используя Python (3.7). Я сталкиваюсь с проблемами при...

У меня есть несколько вопросов, связанных с Cloud Composer и BigQuery. Нам нужно импортировать и...