Я пытаюсь написать задание потока данных в Beam / Java, чтобы обработать серию событий, приходящих...
У меня есть сценарий использования, когда мне нужно перенести 70 ТБ данных из DynamoDB в BigTable и...
У меня много данных, которые регулярно собираются из источников данных и хранятся в корзинах GCS. В...
Я использую CSVRecordSource для чтения CSV в конвейере Apache Beam, который использует open_file в...
У меня есть конвейер потока данных, работающий на GCP, который читает сообщения из pub / sub и...
До сих пор играл с этим в течение достаточно долгого времени, и я изо всех сил пытаюсь найти лучшее...
Я пытаюсь реализовать функцию ListFlatten, я реализовал ее, используя SimpleDoFn, которая работает...
У меня есть данные от веб-пользователей в Firestore. Я вставил некоторые из этих данных в Google...
До сих пор я пытался написать 1 файл паркета для каждого объекта Window, но в итоге я получаю так...
Недавно разрабатывался потребитель Dataflow, который считывал из подписки PubSub и выводил в файлы...
Я пытаюсь передать сообщение PubSub типа JSON в базу данных ключей, и insert_update работает очень...
После выполнения в течение 17 часов мое задание Dataflow завершилось неудачно со следующим...
Я хочу использовать данные из данных, которые запускаются в моем конвейере, чтобы сгенерировать...
Прямо сейчас я просто могу получить значение RunTime внутри класса, используя ParDo, есть ли другой...
Я пытаюсь написать конвейер Apache Beam, используя Python (3.7). Я сталкиваюсь с проблемами при...
У меня есть несколько вопросов, связанных с Cloud Composer и BigQuery. Нам нужно импортировать и...