Я пытаюсь объединить в Beam с боковым вводом. Объединение работает (с боковым вводом) и обновляет...

Недавно мы перенесли нашу инфраструктуру в GCP, и мы стремимся использовать DataProc (Spark) и...

Как вы регистрируете сообщения об ошибках при чтении или записи в тему. Мы будем использовать...

Запуск потокового задания DataFlow с использованием выпуска 2.11.0. Через несколько часов я получаю...

Я пытаюсь написать задание потока данных в Beam / Java, чтобы обработать серию событий, приходящих...

У меня есть сценарий использования, когда мне нужно перенести 70 ТБ данных из DynamoDB в BigTable и...

Я хочу запустить один из моих скриптов на Python, используя GCP. Я довольно новичок в GCP, поэтому...

Я создаю конвейер данных, используя луч Apache, чтобы принять XML-файл в качестве входных данных из...

Я использую CSVRecordSource для чтения CSV в конвейере Apache Beam, который использует open_file в...

До сих пор играл с этим в течение достаточно долгого времени, и я изо всех сил пытаюсь найти лучшее...

Я пытаюсь реализовать функцию ListFlatten, я реализовал ее, используя SimpleDoFn, которая работает...

У меня проблемы при использовании ZetaSQL в Apache Beam Framework (2.17.0-SNAPSHOT). После...

До сих пор я пытался написать 1 файл паркета для каждого объекта Window, но в итоге я получаю так...

Я пытаюсь прочитать тему Кафки, используя Apache Beam, Google Dataflow. Вот код: public class...

Недавно разрабатывался потребитель Dataflow, который считывал из подписки PubSub и выводил в файлы...

После выполнения в течение 17 часов мое задание Dataflow завершилось неудачно со следующим...

Apache Beam имеет Динамические назначения ! для BigQueryIO. Есть ли какие-либо реализации или...

Я пытаюсь запустить некоторую предварительную обработку, используя apache-beam (v2.15.0) и...

Я хочу использовать данные из данных, которые запускаются в моем конвейере, чтобы сгенерировать...

Для моего потокового конвейера я вижу непредвиденное поведение при использовании параметра...

Я хочу использовать Spring с Apache Beam, который будет работать в Google Cloud Data Runner....

Прямо сейчас я просто могу получить значение RunTime внутри класса, используя ParDo, есть ли другой...

Я пытаюсь написать конвейер Apache Beam, используя Python (3.7). Я сталкиваюсь с проблемами при...

Поскольку мы не можем читать напрямую из файла Json, я использую .txt.Похоже, что с большим...

У меня есть задание потока данных, которое не выполняется, или выполняется очень медленно, и я не...