У меня есть задание потока данных, которое не выполняется, или выполняется очень медленно, и я не...
Я пытаюсь выполнить файл Python конвейера луча Apache, используя обработчик потока данных через...
Я читаю из темы Pub / Sub, которая работает нормально, теперь мне нужно вставить в таблицу на...
Ни один из предоставленных шаблонов DataFlow не соответствует тому, что мне нужно сделать, поэтому...
Я уже некоторое время использую Beam, и мне хотелось бы знать, каковы ключевые концепции написания...
Я создал потоковый конвейер луча Apache, который считывает файлы из папок GCS и вставляет их в...
В последнее время в моих журналах вакансий в представлении сведений о работе много записей, таких...
Я пишу простой конвейер потоковой передачи лучей Apache, беру вводные данные из темы pubsub и...
Мы используем Apache Beam для обработки потоковых данных из источника pubsub в приемник GCS с...
Когда я использую окно сеанса с интервалом в 1 час и после обработки миллиона сообщений, я получаю...
Я хотел иметь глобальное окно, которое длится 10 часов после просмотра первого элемента, но...
Мой код запускает несколько очень похожих заданий потока данных за один прогон. Обычно это работает...
1) Я написал конвейер, который имеет входной поток pub / sub. Я хочу изменить его с опцией --update...
Я собираю информацию о рейсах.Максимальная продолжительность полета 10 часов.Я получаю информацию...
Я написал некоторый потоковый конвейер (начинается с Pub / Sub) и хочу добавить к нему механизм...
Наконец мне удалось загрузить данные в BQ, обнаружив, что у меня неверная схема.Однако отладку было...
Я начал использовать Apache Beam с Python, и я застреваю каждые 30 минут.Я пытаюсь сгладить...
Ранее мы использовали Beam 2.11.0, который начал давать сбой из-за очевидного изменения формата URN
Я пишу конвейер Apache Beam на python и пытаюсь загрузить несколько текстовых файлов, но при...
Обработка потоковых событий и запись файлов в почасовые сегменты является проблемой из-за окон,...
Мы передаем поток данных с помощью FixedWindow в течение 5 минут. Мы используем эти данные за 5...
Каждый раз, когда мы выполняем задание потока данных Google, оно запускает динамические виртуальные...
Я реализую CombinePerKeyExample , используя подкласс CombineFn вместо использования...
У меня есть ParDo, который использует состояние и таймеры с периодически обновляемым...