Итак, моя лучевая работа сегодня закончилась этим предупреждением: / usr / local / lib / python2.7...

Я пытаюсь построить конвейер потока данных для преобразования объекта AVRO, ниже приведен код...

Я передаю строку соответствия wilcard как gs: // dev-test / dev_decisions-2018-11-13 * /.И я...

Я использую значение провайдера, чтобы передать дату для моего потока данных...

Мне нужно прочитать файл AVRO из облачного хранилища, а затем записать запись в большую таблицу с...

У меня есть следующий рабочий процесс для пакета потока данных: Обновление кода в шаблоне (основной...

В частности, Flatten PTransform в Beam выполняет любой вид: Дедупликация Фильтрация Очистка...

Было бы хорошо, если кто-нибудь знает о том, как обрезать таблицу MySQL в потоке данных Google...

Используя Apache Beam, я пытаюсь опубликовать метрики в StackDriver из Dataflow.Однако StackDriver...

Было бы хорошо, если кто-нибудь знает, поддерживает ли Облачный поток данных Google OpenJDK?

Ввод PCollection<KV<String,String>> Я должен записывать файлы по ключу и каждой строке...

Я хочу знать, насколько сложно было бы реализовать собственный приемник для базы данных PostgreSQL

При локальном запуске конвейера Apache Beam с использованием Direct Runner уровень журнала,...

Я написал функцию ParDo, которая возвращает несколько выходных данных.Хотя элементы PCollections...

У меня есть PCollection<KV<String,String>>.Я хочу сгруппировать данные по K и записать...

У меня есть коллекция KV, созданная путем группировки, и цель состоит в том, чтобы записать каждое...

В настоящее время я пытаюсь обновить потоковое задание statefult, которое в основном выглядит...

Мой вопрос вращается вокруг запуска вызова API, чтобы получить префикс файла для TextIO вывода. Вот...

Ниже приведен код, который я использую для записи данных в BigQuery WriteResult result =...

Я новичок в Apache Beam и у меня есть несколько вопросов. Я хочу реализовать простой кэш в моем...

У меня проблемы с пониманием того, как Cloud Dataflow знает, когда выполнять код конвейера...

Я пытаюсь настроить пользовательский агент, используемый для различных вызовов GCP, через...

Я пытался переместить данные из одной таблицы в другую.Использовал SideInput для фильтрации записей...

Привет, я хочу динамически создавать таблицы на лету в Dataflow pipelnie Сначала я записываю...

Из того, что я прочитал из документации Apache Beam, Direct Runner следует использовать в качестве...