Используя Apache Beam, я пытаюсь опубликовать метрики в StackDriver из Dataflow.Однако StackDriver...

Было бы хорошо, если кто-нибудь знает, поддерживает ли Облачный поток данных Google OpenJDK?

Ввод PCollection<KV<String,String>> Я должен записывать файлы по ключу и каждой строке...

У меня есть 2 PCollection<KV<String, String>>, один имеет размер ~ 150M, а второй ~ 2B....

Я хочу знать, насколько сложно было бы реализовать собственный приемник для базы данных PostgreSQL

При локальном запуске конвейера Apache Beam с использованием Direct Runner уровень журнала,...

Я написал функцию ParDo, которая возвращает несколько выходных данных.Хотя элементы PCollections...

У меня есть PCollection<KV<String,String>>.Я хочу сгруппировать данные по K и записать...

У меня есть коллекция KV, созданная путем группировки, и цель состоит в том, чтобы записать каждое...

Я пытаюсь создать шаблон для чтения из BigQuery, к сожалению, я получаю исключение при попытке...

В настоящее время я пытаюсь обновить потоковое задание statefult, которое в основном выглядит...

python -m main \ --setup_file setup.py \ --runner DataflowRunner \ --project my-test \...

Я написал простую программу для чтения CSV (электронная почта) и поиска в хранилище данных для...

У меня есть некоторые проблемы при запуске задания луча Apache в потоке данных.Код отлично работает...

Мой вопрос вращается вокруг запуска вызова API, чтобы получить префикс файла для TextIO вывода. Вот...

Код работает при использовании опции DirectRunner.Но получаю ошибки импорта при переключении на...

(Я также поднял проблему GitHub для этого - https://github

Я уже видел ответ на этот вопрос ранее при переполнении стека (https://stackoverflow

Ниже приведен код, который я использую для записи данных в BigQuery WriteResult result =...

Что я хотел бы сделать в конвейере: Чтение из pub / sub (выполнено) Преобразовать эти данные в...

У меня есть очень простое задание Python Dataflow, которое считывает некоторые данные из Pub / Sub,...

Я новичок в Apache Beam и у меня есть несколько вопросов. Я хочу реализовать простой кэш в моем...

У меня проблемы с пониманием того, как Cloud Dataflow знает, когда выполнять код конвейера...

Я пытаюсь настроить пользовательский агент, используемый для различных вызовов GCP, через...

Я пытался переместить данные из одной таблицы в другую.Использовал SideInput для фильтрации записей...