Я пытаюсь развернуть простой конвейер в облачном потоке данных Google (чтобы скопировать некоторые...

Can send the java code but currently, it's not necessary. У меня есть проблема, когда я...

Я не могу подключиться к облачному SQL изнутри пользовательского DoFn при работе в облачном потоке...

Я пытаюсь прочитать значение метки времени сообщения Pubsub из Apache Beam. p.apply("Read...

У меня есть задания потока данных, написанные на python в файле main.py, когда я хочу развернуть...

Я интегрирую в облачный поток данных приложение, которое записывает сообщение json в Cloud...

Я пытаюсь использовать Apache Beam для анализа списка файлов Avro. Как часть анализа, я хотел бы...

Задание «Мой поток данных» в GCP (2019-05-07_06_51_21-705453987744722209) застряло в состоянии...

class Mp3_to_npyFn(beam.DoFn): def process(self, element): filename, e = element # get mp3 from the...

Я строю конвейер, используя Apache Beam Java SDK, начиная с Шаблон PubSubToBigQuery ,...

Я пытаюсь прочитать файл JSON через apache beam в python и применить к нему некоторые правила...

Я могу читать сообщения PubSub из темы, используя PubsubIO, следующим образом: pipeline

Я использую облачный SQL GCP с экземпляром MySQL и использую JdbcIo для записи данных из конвейера...

У меня есть конвейер потока данных, который читает из раздела pubsub, выполняет преобразования и...

Я хочу выполнить несколько шагов после нескольких начальных шагов. Например: в моем случае я хочу...

Я работаю над проектом Google Dataflow и вот требования к проекту: absl-py==0.7.1 apache-beam==2.5

Контекст Я работаю с потоковым конвейером, у которого есть источник данных protobuf в pubsub.Я хочу...

Я попытался обновить конвейер потокового потока данных, потому что он не был должным образом...

Преобразуйте это значение веса / результата из входного файла .csv в список имен столбцов,...

Я могу загрузить несколько CSV-файлов в bigquery по потоку данных, используя цикл for.Но в этом...

Я написал CombineFn, который имеет ввод KV<String, TableRow> и вывод KV<String,...

я хочу установить метку времени для неограниченного набора строк в моем решении каждая строка...

После одного дня полной работы потоковая передача данных из Pub / Sub, выравнивание данных и запись...

У меня есть шаблон потока данных, сгенерированный Dataprep, и я выполняю его с помощью Composer (т....

Мне нужно интегрировать эту зависимость в мой проект maven: <!-- https://mvnrepository