Я пытаюсь научиться проходить через Cloud Dataflow.В целях обучения я разбил их базовый пример Word...
Например, у меня есть файлы .tgz.Он находится в облачном хранилище Google.Внутри .tgz есть серия...
Я пытаюсь выполнить операцию, в которой я получаю список идентификаторов с помощью запроса,...
Представьте себе простой конвейер данных Google.В этом конвейере вы читаете из BQ, используя...
Я создаю шаблон потока данных Google в Python: query = "#standardSQL" +...
Попытка реализовать следующие сценарии, Соединение двух таблиц (A, B) с одинаковыми ключами Таблица...
Основной объект Потоковый конвейер Python, в котором я читаю входные данные из pub / sub. После...
Когда я пишу в многораздельную таблицу в большом запросе из потока данных, я получаю следующую...
Хочу Я хочу Пишите в BigQuery и после этого читайте ту же таблицу из BigQuery, чтобы узнать, есть...
TypeError: 'PCollection' object does not support indexing Приведенная выше ошибка...
У меня есть два файла CSV - я хочу сделать полное объединение в потоке данных два файла CSV,...
Предполагается, что мой потоковый конвейер Dataflow считывает аналитические хиты из Pub / Sub и...
Мои примеры данных представлены в формате json и выглядят следующим образом: {...
Может кто-нибудь сказать мне, если текущая версия API BigQuery для использования с Google Dataflow...
Я новичок в использовании Apache Beam и Dataflow.Я хотел бы использовать набор данных в качестве...
Задача: Я должен выполнить задание ETL, которое будет извлекать изображения TIFF из GCS,...
Согласно это и это проблема должна быть решена, не так ли? Что я делаю: | 'Read' >>...
Проблема Каждый раз, когда система получает сообщение от pubsub с раздвижными окнами, оно...
Текущая ситуация Типичным объектом этого конвейера является чтение из pub / sub полезной нагрузки с...
Я пытался заставить бегуна DataFlow работать весь день, но безуспешно. Работник просто загружает...
Я пытаюсь запустить локальный шаблон, разработанный в Google DataFlow. Проблема в том, что я...
У меня есть коллекция объектов, которую я получаю от pubsub, скажем: PCollection<Student>...
Применение этого или этого примера для сборки моей программы, каждый раз, когда я пытаюсь вставить...
Как результаты распределяются между работниками? Создается ли одна таблица с результатами запроса,...
Проверка журналов Stackdriver из моего конвейера Apache Beam, написанного на Python, обнаружил, что...