Мне было интересно, возможно ли использовать оператор if в конвейере лучей для принятия другого...

У меня много json-файлов в корзине, и с помощью python 3 я хочу получить имя файла, а затем создать...

Я пишу простой конвейер потоковой передачи лучей Apache, беру вводные данные из темы pubsub и...

Я настраиваю конвейер потока данных, в котором одним из действий является получение / добавление...

Я использую apache-beam python 2.12.0 SDK. У меня проблемы при использовании какого-то специального...

Я использую Google Cloud Dataflow для Python SDK, чтобы прочитать 200k + сущностей из хранилища...

Я работаю над конвейером, который читает сообщения от Kafka с использованием KafkaIO, и я смотрю на...

У меня есть входной gcs, где я получаю файлы, и я преобразую и загружаю его в другой gcs. Он...

мой прямой бегун работает нормально, за исключением того, что его не вставляют в bigquery. Хотя мой...

У меня есть конвейер луча apache, где я получаю некоторые тексты из входных файлов, используя...

Использование apache_beam.io.filesystems.FileSystems как писать в GCS с ParDo и DoFn ?? Я уже...

В следующем коде я пытаюсь прочитать файл CSV, расположенный в dataFile, используя TextIO Beam и...

Я написал этот конвейер лучей Apache, чтобы выполнить какое-то преобразование из входного облака в...

У меня есть ведро GCS, где я получаю файлы каждую минуту, поэтому я использую метод pub / sub для...

Что я делаю: Я строю систему, в которой одна тема Cloud Pub / Sub будет прочитана десятками...

У меня есть GCS, где я получаю файл каждую минуту. Я создал потоковый поток данных с помощью apache...

Я хочу проверить наличие новых файлов в облачном хранилище, для которых я использую облачный паб /...

Я пытаюсь настроить один раз семантику в Kafka (Apache Beam).Вот изменения, которые я собираюсь...

У меня есть тема Pub / Sub, которая будет периодически (обычно один раз в несколько дней или недель...

Мы собираемся выбрать Apache Beam для нашего программирования потока данных.Учитывая все сложные...

У меня есть сценарий, в котором мне нужно выбрать и вставить данные в / из нескольких таблиц.Как...

Мой код (внутри основной функции для создания конвейера): - outCollection

Я видел в каком-то примере код, который, кажется, читает непосредственно из темы? PubsubIO

У меня есть куча файлов протобаффов в GCS, и я хотел бы обработать их через поток данных (java sdk)...

У нас есть конвейер для чтения данных из OracleServer и записи их в Cloud Sql (mysql).Мы хотим...