Моя постановка проблемы 1. Необходимо получить данные из нескольких сторонних источников /...

Can send the java code but currently, it's not necessary. У меня есть проблема, когда я...

Этот вопрос связан с моей более ранней публикацией о сравнительном тестировании Apache Beam с...

У меня есть конвейер потока данных, который читает из раздела pubsub, выполняет преобразования и...

Я хотел бы создать одну панель, когда водяной знак достигает x минут после конца окна. Это...

Контекст Я работаю с потоковым конвейером, у которого есть источник данных protobuf в pubsub.Я хочу...

Я написал CombineFn, который имеет ввод KV<String, TableRow> и вывод KV<String,...

поэтому я написал конвейер луча apache, который читает файл, который содержит 99 других файлов,...

я хочу установить метку времени для неограниченного набора строк в моем решении каждая строка...

Я работаю над проектом Google App Engine, я создал один класс для задания потока данных облака...

В конвейере лучей apache я беру данные из облачного хранилища и пытаюсь записать их в таблицу...

Я использую Apache Beam для чтения данных из хранилища данных Google Cloud с помощью собственных io

Я получаю сообщения из темы kafka, которая отправляет мне сообщение JSON. Я хотел бы извлечь поле...

Я использую Google Cloud Dataflow для Python SDK, чтобы прочитать 200k + сущностей из хранилища...

Я пытаюсь получить входные данные от pandas dataframe к конвейеру лучей apache и записать его в GCS

Согласно Модель исполнения луча Apache - связывание и постоянство : "Вместо одновременной обработки...

Я записываю данные (около 1 миллиарда строк) в файл в формате паркета, используя луч Apache. Я хочу...

Похоже, что Google Dataflow поддерживает конвейеры с сохранением состояния в некоторой степени в...

Я работаю над конвейером, который читает сообщения от Kafka с использованием KafkaIO, и я смотрю на...

Я искал, как обновить боковой ввод в задании потока данных без перезапуска конвейера.Я нашел этот...

Существует странная ситуация с Apache Beam Python 2.7 SDK 2.11.0 для довольно простого конвейера...

У меня есть входной gcs, где я получаю файлы, и я преобразую и загружаю его в другой gcs. Он...

мой прямой бегун работает нормально, за исключением того, что его не вставляют в bigquery. Хотя мой...

У меня есть конвейер луча apache, где я получаю некоторые тексты из входных файлов, используя...

Может кто-нибудь уточнить, для чего нужен аргумент id_label в преобразовании ReafFromPubSub ? Я...