У меня есть следующая структура BigTable для примера: Table1 : column_family_1 : column_1 : value...
После использования TextIO.read для получения PCollection<String> отдельных строк, возможно...
Я работаю с набором данных Chicago Traffic Tracker , где новые данные публикуются каждые 15 минут
Я пытаюсь вставить данные из стороннего API в конвейер потока данных.Так как сторонние поставщики...
Вопрос связан с this . Я пытаюсь получить образец элементов в PCollection с использованием Python...
У меня есть PCollection, и я хотел бы использовать ParDo для фильтрации некоторых элементов из него
Autoscaling: Unable to reach resize target in zone us-central1-b. QUOTA_EXCEEDED: Quota...
Мы вытащили код BeamSql из главной ветви на GitHub, так как он, кажется, поддерживает поля типа...
У нас есть конвейер Apache Beam 2.4.0, который выполняет запросы BeamSql.В BeamSql оператор SQL...
У меня есть простой конвейер потока данных (код задания 2018-05-15_06_17_40-8591349846083543299) с...
Каковы лучшие практики, когда http вызывает из DoFn в конвейере, который будет работать в облачном...
Я пытаюсь сгруппировать большое количество ключей, используя Apache Beam.Я не могу использовать...
Мы выполняем рабочий процесс Dataflow, который использует Kafka и записывает мгновенные файлы avro...
Возможно ли удалить данные из таблицы BigQuery при загрузке данных в нее из конвейера Apache Beam....
Я не могу установить регион для набора данных BigQuery при использовании Direct Runner с...
У меня возникает RuntimeException при запуске потока данных (Apache Beam SDK 2.4.0) из заданий...
Извинения , пытаясь быть кратким и ясным, мое предыдущее описание моего вопроса превратилось в...
Мы используем Beam 2.2 java sdk с Google Dataflow Runner. Мы получаем пакеты данных за 4 часа в...
В нескольких конвейерах Apache Beam, которые я хочу реализовать, мне нужно сделать http-вызовы...
Я написал конвейер для извлечения журналов активности комплекта G, сославшись на java-quickstart...
Я получаю сообщение об ошибке ниже, в то время как я пытаюсь просто скопировать данные из одной...
Итак, я прочитал Stateful-обработку луча и своевременную обработку статей и обнаружил проблемы с...
Мы работаем над проектом Apache Beam (версия 2.4.0), где мы также хотим работать с корзиной...
Если вы проверите изображение ниже, у меня есть ведро Google, содержащее 3 папки, и каждая папка...