У меня есть сценарий, в котором мне нужно запустить одно Java-задание Apache Beam в двух разных...

Я получаю ошибку ниже при выполнении задания потока данных. Я пытаюсь обновить свою существующую...

Давайте предположим, что у меня есть PCollection в следующем формате:...

Что я делаю: Я строю систему, в которой одна тема Cloud Pub / Sub будет прочитана десятками...

Проблема: При использовании Cloud Dataflow мы получаем 2 метрики (см. эту страницу ): Системная...

Настройка: чтение из pubsub -> окно 30 с -> группировка по пользователю -> объединение -> запись в...

Я довольно новичок в Google Dataflow и обнаружил, что служба тратит несколько часов, оценивая...

Я использую Apache beam python SDK и работаю над потоком данных GCP.Как применить агрегатные...

Конвейеры потока данных, разработанные моей командой, неожиданно начали зависать, останавливая...

Я только начал использовать scio и dataflow.Попытка моего кода для одного входного файла, работала...

Я пишу потоковый конвейер Dataflow ( в Python ), который обрабатывает электронную почту.Идея...

Есть ли способ использовать результат из приемника, то есть PDone, для дальнейшей обработки, такой...

В настоящее время мы работаем над потоковым конвейером на Apache Beam с DataflowRunner.Мы читаем...

Я пытаюсь настроить конвейер потоковой передачи данных в python.У меня есть некоторый опыт работы с...

Я запускаю потоковый конвейер в Apache Beam Python SDK.Когда я запускаю его из обработчика потока...

Я пытаюсь сделать простое объединение с использованием Beam SQL, но я получаю исключение при...

Я пишу конвейер данных Beam для чтения из неограниченного источника, такого как Кафка.Я не выполняю...

У меня есть многофайловое Python Apache Beam, которое я хочу запустить в облаке Dataflow через...

Я пытаюсь использовать существующий пример кода Google (PubSubToBigQuery.java), чтобы...

У меня есть Задание облачного потока данных , которое записывает все в одну таблицу и одно...

Каково ожидаемое поведение maxTimestamp для глобального окна?У меня есть топология с неограниченным...

Я пытаюсь вызвать шаблон потока данных через REST API , однако, когда в теле указаны параметры ,...

У меня следующая топология, я не могу создать кодер для последнего шага, который KV[K,...

Я ищу четкую документацию и / или пример того, как настроить основанный на времени триггер для...

Я бы хотел выполнить следующее с помощью Apache Beam: вычислять каждые 5 секунд события, которые...