Привет, я хочу динамически создавать таблицы на лету в Dataflow pipelnie Сначала я записываю...

Из того, что я прочитал из документации Apache Beam, Direct Runner следует использовать в качестве...

Я пытаюсь построить конвейер, который читает из большого файла csv, который имеет 2 столбца (member...

У меня есть 2 PCollections, A и B. Я бы хотел сделать что-то подобное: for a in A: for b in B: a

Используя Apache Beam, я делаю вычисления - и если они получатся успешными, я бы хотел записать...

Я внедряю конвейер Pub / Sub в BigQuery. Это похоже на Как создать преобразование для чтения с...

Я пытаюсь создать шаблон потока данных. Цель - прочитать ValueProvider, который скажет мне, какие...

Я строю конвейер Apache Beam для чтения из Кафки в качестве неограниченного источника. Я смог...

У нас есть сценарий, в котором нам нужно иметь BigQuery. Читать позже в конвейере (не в PBegin)....

Мы тестируем Cloud Dataflow, который извлекает сообщения из подписки Pub / Sub, конвертирует данные...

Давайте предположим, что у меня есть окно 2 часа, которое запускается каждую минуту. Следующим...

apache beam Javadoc имеет что-то вроде этого: FileBasedSource<T> mySource = ...;...

Задание потока данных читает из PubSub (неограниченный источник) для настроенного окна, а затем...

Есть ли способ передачи метаданных / атрибутов между PTransforms? Эта информация не является частью...

Каков рекомендуемый способ сделать дорогую одноразовую инициализацию в Beam Python DoFn?В Java SDK...

Проблема, связанная с чтением CSV-файлов с форматированием UTF-16.Установленный Apache Beam версии...

Я собрал неофициальную версию apache beam от github.com/apache/beam, это был новый класс для...

Я создал конвейер, используя оболочку Scio для Apache Beam.Я хочу развернуть его в потоке данных...

Ниже приведено несколько вопросов о Apache Beam Windowing: У меня есть конвейер лучей, считывающий...

Я знаю, что для этого есть команда gcloud: gcloud dataflow jobs list --help NAME Список заданий...

Я пытаюсь преобразовать дату, которая хранится в виде строки, в дату, например, ГГГГММДД (строка) в...

Я пытаюсь использовать NestedValueProvider , как в примере, представленном в документации облачной...

Мои задания потока данных не выполняются со следующей ошибкой: INFO:root:2018-10-15T18:55:37.417Z:...

У меня есть конвейер Apache Beam, работающий в потоке данных Google, работа которого довольно...

импорт apache_beam в виде луча из apache_beam.options.pipeline_options import PipelineOptions p =...