Я пытаюсь прочитать записи из источника на основе общего количества обработанных записей, которое...
Pcollection<String> p1 = {"a","b","c"} PCollection<...
Я пытаюсь сохранить данные в таблицах BigQuery, процесс работает нормально и вставляет данные в...
В частности, Flatten PTransform в Beam выполняет любой вид: Дедупликация Фильтрация Очистка...
Использование beam.io.WriteToBigQuery и beam.io.BigQuerySource Насколько велик очень большой набор...
Я пытаюсь запустить конвейер Beam на HDInsight SparkRunner в Azure.Я попытался сначала с кластером...
Я пытался заставить Apache Beam Portability Framework работать с Python и Apache Flink, и я не могу...
Я пытаюсь записать файл паркета следующим образом в Apache Beam, используя сжатие Snappy records
Можно ли использовать библиотеки Spark, такие как Spark.ml, в конвейере Beam?Насколько я понимаю,...
Мы конвертируем один из наших конвейеров свиноводства в мерцание, используя луч Apache.Конвейер Pig...
Если у нас есть поток, похожий на этот Person { … OrganizationID } , который мы хотим объединить с...
Я использую AvroIO.<MyCustomType>writeCustomTypeToGenericRecords() для записи общих записей в...
Мои данные имеют форму json с разделителями новой строки и выглядят так, как показано ниже.Я читаю...
Я использую TextIO для чтения из облачного хранилища. Поскольку я хочу, чтобы работа выполнялась...
Есть ли в Apache Beam SDK какой-либо способ преобразовать исходный код XML в приемник объектов JSON...
Я хотел сделать что-то вроде: PCollection<String> a = whatever; PCollection<KV<String,...
У меня есть конвейер, который извлекает данные MySQL и используется для передачи данных в Монго БД...
Использование примера WordCount.java для тестирования метрик. Функция PrintMetricsFn (см. Ниже)...
Я столкнулся с проблемой, что "Невозможно предоставить кодировщик для org.apache.hadoop.hbase
Я столкнулся с очень странной проблемой, Could not find a "KafkaClient" entry in the JAAS...
Apache Beam TextIO можно использовать для чтения файлов JSON в некоторых файловых системах, но как...
Я реализую стандартное преобразование вычисления отклонения в Beam. Я начинаю с создания...
Я пытаюсь написать конвейер Beam, который работает с использованием SparkRunner, читает из...
Я использую бегущий искровой разрядник в качестве бегунка трубопровода в Apache Beam и обнаружил...
Я запускаю пример подсчета слов на кластере flink с одним узлом, работающем flink 1.6.1 , и...