Я пытаюсь сделать следующее: Я хочу создать следующий конвейер (который будет работать в облаке...
Например, у меня есть файлы .tgz.Он находится в облачном хранилище Google.Внутри .tgz есть серия...
SDK: Apache Beam SDK для Go 0.5.0 Наша работа на Golang в течение нескольких недель успешно...
Мне нужно создать файл отчета по запросу пользователя.Каждый пользователь выбирает фильтр для...
Я пытаюсь выполнить операцию, в которой я получаю список идентификаторов с помощью запроса,...
В настоящее время это параметры для планирования выполнения задания потока данных, которое я знаю:...
После нескольких дней тестирования и разработки некоторых шаблонов Google Dataflow с python я...
Представьте себе простой конвейер данных Google.В этом конвейере вы читаете из BQ, используя...
Я создаю шаблон потока данных Google в Python: query = "#standardSQL" +...
Попытка реализовать следующие сценарии, Соединение двух таблиц (A, B) с одинаковыми ключами Таблица...
Основной объект Потоковый конвейер Python, в котором я читаю входные данные из pub / sub. После...
Я пытаюсь создать шаблон для чтения из BigQuery, к сожалению, я получаю исключение при попытке...
Когда я пишу в многораздельную таблицу в большом запросе из потока данных, я получаю следующую...
Хочу Я хочу Пишите в BigQuery и после этого читайте ту же таблицу из BigQuery, чтобы узнать, есть...
TypeError: 'PCollection' object does not support indexing Приведенная выше ошибка...
python -m main \ --setup_file setup.py \ --runner DataflowRunner \ --project my-test \...
У меня есть два файла CSV - я хочу сделать полное объединение в потоке данных два файла CSV,...
Я написал простую программу для чтения CSV (электронная почта) и поиска в хранилище данных для...
Предполагается, что мой потоковый конвейер Dataflow считывает аналитические хиты из Pub / Sub и...
Мои примеры данных представлены в формате json и выглядят следующим образом: {...
Может кто-нибудь сказать мне, если текущая версия API BigQuery для использования с Google Dataflow...
Я новичок в использовании Apache Beam и Dataflow.Я хотел бы использовать набор данных в качестве...
Задача: Я должен выполнить задание ETL, которое будет извлекать изображения TIFF из GCS,...
Согласно это и это проблема должна быть решена, не так ли? Что я делаю: | 'Read' >>...
Проблема Каждый раз, когда система получает сообщение от pubsub с раздвижными окнами, оно...