Я использую Apache Beam на Python и хотел бы спросить, что эквивалентно Apache Beam Java Wait.on()...

У меня есть пакетный конвейер, написанный в Dataflow. Я хотел бы добиться следующего объединения...

Я написал файл .jar с конвейером Apache Beam (написанный на Java), в котором я хочу запустить...

У меня есть очень большая таблица, где каждая строка представляет абстракцию, называемую Trip....

Мой поток данных луча пытается прочитать данные из GCS и записать данные в Pub / Sub. Однако...

Я пытаюсь прочитать данные из корзины GS и вывести их в другую корзину GS (разделенную...

Кажется, что есть много похожих вопросов / проблем, связанных с зависанием конвейера Beam в...

Мой случай был таким: Моя компания создала несколько таблиц в своей базе данных. У каждой таблицы...

Beam GroupByKey группирует записи по ключам по всем разделам и выводит одну итерацию для каждого...

Я не вижу упоминаний о спекулятивном выполнении в документации Apache Beam. Но этот пост утверждает...

Неясно, безопасно ли загружать файлы в DoFn. Мой DoFn загрузит файл ~ 20 МБ (модель ML) для...

У меня есть конвейер Cloud Dataflow, который выглядит следующим образом: Чтение из Cloud Bigtable...

Я пытаюсь создать потоковый конвейер с Dataflow, который читает сообщения из темы PubSub и...

Я пытался запустить конвейер apache-beam на облачной платформе Google, используя Cloud Dataflow....

Записи записи изменений (CDC) не будут иметь всех значений для столбцов в записи. Возможно, что для...

Я пытаюсь прочитать данные из GCS и записать данные в Pub / Sub после обработки данных. Однако...

Я работаю над реализацией простого считывателя CSV в Apache Beam, следуя тесту репозитория луча:...

Apache Beam 2.9.0 с использованием Google Cloud DataFlow. При попытке вставить в BigQuery...

Я пытаюсь использовать приведенный ниже сценарий с неограниченным источником данных pCollection...

Я пытаюсь создать потоковый конвейер с Dataflow, который читает сообщения из темы PubSub и...

Я хотел бы прочитать CSV-файл из GCS, используя ReadFromText и хотел бы разбить на несколько файлов...

Я написал задание для чтения данных из Pubsub и применения к ним некоторых преобразований. Конвейер...

Каждый день последние данные доступны в таблице CloudSQL, поэтому при записи данных в другую...

В FoDn у нас есть @Setup, который идеально подходит для инициализации ресурсов с несколькими...

Я получаю сообщение «TypeError: Ожидаемый вызываемый объект вместо: None» при выполнении задания...