Использование apache_beam.io.filesystems.FileSystems как писать в GCS с ParDo и DoFn ?? Я уже...

Я использую Apache Beam KafkaIO в качестве источника моего конвейера. Мне нужно прочитать две темы...

У меня есть приложение, записывающее данные в pubsub Google Cloud, и, согласно документации pubsub,...

У меня медленно движущиеся данные в компактной теме кафки, а также быстро движущиеся данные в...

Я только что сделал обновление с apache-beam==2.5.0 до apache-beam[gcp]==2.11.0, и теперь я получаю...

В следующем коде я пытаюсь прочитать файл CSV, расположенный в dataFile, используя TextIO Beam и...

Я написал этот конвейер лучей Apache, чтобы выполнить какое-то преобразование из входного облака в...

У меня есть ведро GCS, где я получаю файлы каждую минуту, поэтому я использую метод pub / sub для...

У меня есть GCS, где я получаю файл каждую минуту. Я создал потоковый поток данных с помощью apache...

Я хочу проверить наличие новых файлов в облачном хранилище, для которых я использую облачный паб /...

Я пытаюсь настроить один раз семантику в Kafka (Apache Beam).Вот изменения, которые я собираюсь...

У меня проблема с запуском задания Beam SDK to 2.10.0 в Google DataFlow Поток прост: я использую...

Apache Beam 2.9.0 Я настроил конвейер, который извлекает данные из BigQuery и выполняет серию...

В настоящее время я работаю над конвейером потоков данных, который читает потоковые данные из Pub /...

Мне не удается найти подходящую стратегию управления окнами для моих текущих потребностей,...

Я хочу использовать Dataflow для перемещения данных из Pub / Sub в GCS.Поэтому в основном я хочу,...

Мы собираемся выбрать Apache Beam для нашего программирования потока данных.Учитывая все сложные...

У меня есть сценарий, в котором мне нужно выбрать и вставить данные в / из нескольких таблиц.Как...

Я использую Beam Java SDK 2.9.0, Моя работа читает с Kafka на шаге.Моя работа отлично работает на...

Я использую DataFlowJavaOperator () в потоке воздуха (Cloud Composer).Есть ли способ получить...

Моя цель - прочитать данные файла avro из облачного хранилища и записать их в таблицу BigQuery с...

В настоящее время у меня есть работающий конвейер, и я хочу динамически развернуть конвейеры Beam в...

У меня есть пользовательские объекты: CustomKey, CustomValue, которые я предоставил кодеру через...

Я пытаюсь получить полный исчерпывающий список всех показателей, используемых в конвейере потока...

Установка: потоковое задание на передачу данных в облаке события приходят через pubsub состояние...