Мне нужно создать пустую таблицу с вложенными и повторяющимися столбцами в BigQuery с...

Текущая ситуация Типичным объектом этого конвейера является чтение из pub / sub полезной нагрузки с...

Я использую Google Pub Sub, чтобы публиковать вывод JSON веб-API для определенной темы. Затем я...

Я видел в каком-то примере код, который, кажется, читает непосредственно из темы? PubsubIO

Я пытался заставить бегуна DataFlow работать весь день, но безуспешно. Работник просто загружает...

Я пытаюсь запустить локальный шаблон, разработанный в Google DataFlow. Проблема в том, что я...

У меня есть коллекция объектов, которую я получаю от pubsub, скажем: PCollection<Student>...

Применение этого или этого примера для сборки моей программы, каждый раз, когда я пытаюсь вставить...

Я пытаюсь измерить продолжительность конвейера Dataflow, который извлекает сообщения из Pub / Sub и...

Как результаты распределяются между работниками? Создается ли одна таблица с результатами запроса,...

Проверка журналов Stackdriver из моего конвейера Apache Beam, написанного на Python, обнаружил, что...

Я использую Cloud Dataflow для загрузки данных в Cloud SQL. Некоторые нагрузки состоят из простых...

Я написал потоковый конвейер Google Dataflow на python с использованием лучевого SDK. Там есть...

Я использую работу потока данных и сталкиваюсь с трудностями. У меня есть специальный пакет,...

При использовании Google Cloud Dataflow Python SDK случается так, что при начале чтения большого...

Попытка реализовать более простую форму этого примера, который у меня есть, и ошибка при вставке...

У меня есть поток данных, написанный на Python, который я пытаюсь запустить на GCP. Поток данных...

Я столкнулся с проблемой в одном из моих скриптов Apache Beam. На данный момент это все еще...

У меня есть применение, при котором мне приходится периодически (еженедельно) получать список всех...

Мой конвейер лучей apache (использующий Python SDK + DirecrRunner для целей тестирования…) читает...

Некоторые из моих PCollections (которые поступают из разных источников) должны быть декодированы...

Я обрабатываю аналитические обращения в конвейере Apache Beam, написанном на python.Я использую...

Я загружаю данные из BigQuery, используя Read(BigQuerySource(query="...",...

Я собрал неофициальную версию apache beam от github.com/apache/beam, это был новый класс для...

Очистите файл CSV, записанный в GCS, удалив кавычки и LZIP файл. Нужно ли копировать файл на...