Вопрос о том, как PubSubIO работает в DataflowRunner с использованием AutoscalingAlgorithmType

Я хотел бы использовать данные из pubsub с помощью задания потоковой передачи данных и сохранять их...

Я использую Python Beam в потоке данных Google, мой конвейер выглядит так: Чтение URL-адресов...

У меня есть требование, когда мне нужно записать PCollection String в Cloud SQL с использованием...

Настройка такова: У меня есть тема, настроенная для получения сообщений, и затем у меня настроен...

У меня есть архитектура обработки потоков данных в облачном пабе Google / Sub и Cloud, мне нужен...

Есть ли способ динамически масштабировать объем памяти модуля Pod в зависимости от размера задания...

Я планирую подготовить конвейер данных без сервера с помощью Google Cloud Platform.Я планирую...

У меня есть конвейер, который я могу выполнить локально без каких-либо ошибок.Я имел обыкновение...

Я пытаюсь вставить данные из стороннего API в конвейер потока данных.Так как сторонние поставщики...

Я хочу использовать предоставленный Google шаблон для потоковой передачи данных из Pubsub в...

У меня есть простой конвейер потока данных (код задания 2018-05-15_06_17_40-8591349846083543299) с...

У меня есть набор данных BigQuery, расположенный в новом регионе "asia-northeast1". Я пытаюсь...

Итак, я прочитал Stateful-обработку луча и своевременную обработку статей и обнаружил проблемы с...

Мы работаем над проектом Apache Beam (версия 2.4.0), где мы также хотим работать с корзиной...