У меня есть сценарий, в котором мне нужно запустить одно Java-задание Apache Beam в двух разных...
В следующем коде во время выполнения мы выполняем ((Object)o).getClass() и передаем экземпляр...
У меня есть реализация кода Apache Beam на Go SDK, как описано ниже. Трубопровод имеет 3 ступени....
Я создал простой конвейер потока данных, который считывает байтовые массивы из pubsub, открывает их...
При чтении больших таблиц из BigQuery я обнаружил, что когда-то активен только один работник, а...
Я получаю ошибку ниже при выполнении задания потока данных. Я пытаюсь обновить свою существующую...
Давайте предположим, что у меня есть PCollection в следующем формате:...
Из документации Когда вы применяете Комбинированное преобразование, вы должны предоставить функцию,...
Что я делаю: Я строю систему, в которой одна тема Cloud Pub / Sub будет прочитана десятками...
Проблема: При использовании Cloud Dataflow мы получаем 2 метрики (см. эту страницу ): Системная...
Настройка: чтение из pubsub -> окно 30 с -> группировка по пользователю -> объединение -> запись в...
Я довольно новичок в Google Dataflow и обнаружил, что служба тратит несколько часов, оценивая...
Я использую Apache beam python SDK и работаю над потоком данных GCP.Как применить агрегатные...
Конвейеры потока данных, разработанные моей командой, неожиданно начали зависать, останавливая...
Я только начал использовать scio и dataflow.Попытка моего кода для одного входного файла, работала...
Я пишу потоковый конвейер Dataflow ( в Python ), который обрабатывает электронную почту.Идея...
У меня есть два PCollection<KV<String, TableRow>> у одного ~ 7 миллионов строк, а у...
Есть ли способ использовать результат из приемника, то есть PDone, для дальнейшей обработки, такой...
В настоящее время мы работаем над потоковым конвейером на Apache Beam с DataflowRunner.Мы читаем...
Я пытаюсь настроить конвейер потоковой передачи данных в python.У меня есть некоторый опыт работы с...
Перекрестная публикация с https://groups.google.com/forum/#!topic/kythe/86kNuSCeorI,, так как я был...
Я запускаю потоковый конвейер в Apache Beam Python SDK.Когда я запускаю его из обработчика потока...
Я пытаюсь сделать простое объединение с использованием Beam SQL, но я получаю исключение при...
Я пишу конвейер данных Beam для чтения из неограниченного источника, такого как Кафка.Я не выполняю...