Я пытаюсь запустить Java-код из проекта Maven, в котором используются оба...
Согласно документации Apache Beam Триггер AfterWatermark работает во время события.Триггер...
Недавно я столкнулся с проблемой, которая сводила меня с ума, так как это происходит только после...
Я бы хотел построить следующий конвейер: pub/sub --> dataflow --> bigquery Данные потоковые,...
Когда я запускаю свое задание потока данных с SDK версии 2.9.0, мое задание потока данных...
Я настроил шаблон в потоке данных Google, и он работал нормально.После некоторой модификации...
У меня есть модель Apache Beam для обработки нескольких временных рядов в реальном времени....
В основном я запускаю конвейер в облачном потоке данных Google, используя apache beam python SDK
Я написал поток (pub / sub) на python, который я тестировал локально с DirectRunner. Я хотел...
Я пытаюсь запустить потоковое задание потока данных, содержащее n конвейеров. На основе настроенной...
У меня есть файл .txt, который имеет формат JSON.Я хочу читать, манипулировать и реструктурировать...
У меня есть потоковый конвейер, который использует потоковый источник (Kafka) и записывает данные в...
У меня есть конвейер Apache Beam, построенный на python.Я читаю строки из CSV-файла. Затем...
После чтения данных из неограниченного источника, такого как pub / sub, я применяю управление...
У меня есть скрипт python 2.7, который я запускаю локально для запуска задания Apache Beam / Google...
Я пытаюсь использовать Apache Beam для анализа списка файлов Avro. Как часть анализа, я хотел бы...
Я строю конвейер, используя Apache Beam Java SDK, начиная с Шаблон PubSubToBigQuery ,...
Я пытаюсь прочитать файл JSON через apache beam в python и применить к нему некоторые правила...
Мне нужно интегрировать эту зависимость в мой проект maven: <!-- https://mvnrepository
Я использую Python SDK для Apache Beam, чтобы запустить конвейер извлечения функций в Google...
У меня есть две PCollections: одна, которая извлекает информацию из Pub / Sub, и другая, которая...
Я пишу поток данных Apache beam BAtch, в котором я пишу из GCS в BQ.Мои данные содержат 4 миллиона...
Моя цель - получить доступ к времени публикации сообщения PubSub, как записано и установлено Google...
Я получаю сообщения из Google Cloud Pub / Sub в следующем формате: {u'date':...
В задании Google Dataflow используется библиотека KafkaIO от Apache Beam с AvroIO и Windowed....