Я использую Apache Beam 2.7.0, который я видел в Матрице возможностей (https://beam.apache

Мой источник - KafkaIO.read(), и теперь я хочу использовать ParDo, чтобы декодировать сообщения,...

Мое использование конвейера больше похоже на обновление.Он начинается с Kafka, захватывает...

Я пытаюсь написать ParDo, который будет использовать таймер и боковой ввод, но он вылетает, когда я...

Я хочу читать данные из Cloud BigQuery в Cloud Datastore через бегунок Dataflow с Apache Beam.Из...

У меня есть файл json, который мне нужно преобразовать в Avro с помощью apache beam. [{...

Я пытаюсь CoGroupByKey два неограниченных PCollections в Windows, конечно.Давайте назовем их...

Я использую Anaconda - conda virtual env с Python 2.7. Я следовал инструкциям по быстрому запуску...

У меня есть приложение batch / spark, которое считывает данные sqoop / mysql как снимок и выполняет...

Я читаю статью о точной однократной обработке, реализованной некоторыми источниками и приемниками...

Привет, я получаю эту ошибку при попытке запустить пример шаблона потока данных Google Pub / Sub...

Pcollection p1 = {"a", "b", "c"} PCollection> p2 = p1.apply ("некоторая операция") // {(1, "a"), (2...

Я получаю данные protobuf из google pub / sub и десериализирую данные в объект типа Message. Итак,...

возможно ли в Beam / Dataflow создать пиплейн с помощью итератора? Я всегда использовал списки...

Можно ли читать из источника геопространственных данных (например, Shapefile, Geopackage),...

Я пытаюсь запустить простой конвейер Apache Beam на образе Flink 1.5.2 .Когда я запускаю основной...

У меня есть панель управления пользовательским интерфейсом Flink, и под вкладкой обзора я вижу поле...

Я определил конвейер, который читает тему Кафки, выполняет некоторые шаги и публикует результаты в...

Мое требование - выбрать миллионы строк в базе данных MYSQL с помощью API JdbcIO. Я использую...

Пакет Azure сам по себе не имеет таких API-интерфейсов MapReduce, как Spark. Мне интересно, можно...

Я сравниваю Apache Beam SDK с Flink SDK для потоковой обработки, чтобы определить стоимость /...

Согласно документации луча: Переходные поля в вашем функциональном объекте не передаются работнику...

Я использую Python 2.7 и пытаюсь установить Apache-Beam. Я запускаю эту команду: python -m pip...

Я строю конвейер, используя Apache Beam в Python, и мне нужно избегать условий гонки при записи в...

Я начинаю использовать Apache Beam в проекте впервые, и я пытаюсь читать и записывать файлы Parquet...