Самый простой способ описать то, что я делаю, - это, по сути, следовать этому руководству:...

У меня есть GCS, где я получаю файл каждую минуту. Я создал потоковый поток данных с помощью apache...

Я хочу проверить наличие новых файлов в облачном хранилище, для которых я использую облачный паб /...

Я пишу простой потоковый конвейер (Apache Beam 2.11 SDK, Python 2.7.10) и запускаю его в средстве...

Я запускаю этот пример кода из Google, тестирующего входные данные Spanner в Dataflow.Когда я...

Я занимаюсь разработкой Java-кода для чтения записей из GCS и вставки в таблицы BQ, что является...

Я использую Dataflow из облачного композитора Google, скрипт потока данных содержит некоторые...

Я хотел бы выполнить пакетную обработку для сложной обработки данных BigQuery с использованием...

У меня есть PCollection KV, где ключ - это имя файла, а значение - некоторая дополнительная...

Я пытаюсь настроить один раз семантику в Kafka (Apache Beam).Вот изменения, которые я собираюсь...

Я неоднократно пытаюсь запустить набор заданий облачного потока данных Google, которые до...

У меня проблема с запуском задания Beam SDK to 2.10.0 в Google DataFlow Поток прост: я использую...

У меня проблема с потоком данных, мне нужно выполнить задание, и я получаю следующую ошибку:...

Apache Beam 2.9.0 Я настроил конвейер, который извлекает данные из BigQuery и выполняет серию...

В настоящее время я работаю над конвейером потоков данных, который читает потоковые данные из Pub /...

У меня есть PCollection KV, где ключом является gcs file_patterns, а значением является некоторая...

Как видно из заголовка, я пытаюсь выяснить, есть ли способ указать значение "пользовательский...

Мне не удается найти подходящую стратегию управления окнами для моих текущих потребностей,...

У меня есть потоковый конвейер Apache Beam / Dataflow, который не может обработать отставание.Глядя...

Я пытаюсь прочитать файл JSON (многострочный) в конвейере, но beam.io.ReadFromText(somefile.json...

Я хочу использовать Dataflow для перемещения данных из Pub / Sub в GCS.Поэтому в основном я хочу,...

Как скопировать несколько терабайт данных из GCS в S3? В GCS есть замечательная функция "Перенос",...

Мы собираемся выбрать Apache Beam для нашего программирования потока данных.Учитывая все сложные...

У меня есть сценарий, в котором мне нужно выбрать и вставить данные в / из нескольких таблиц.Как...

Я использую облачный поток данных для импорта данных из сообщений Pub / Sub в таблицы BigQuery.Я...