У меня есть случай, когда я хочу прочитать данные из Kafka в пакетном режиме, используя Apache Beam...

Я пытаюсь выполнить пример WordCount (Java-код) из Eclipse, как указано в https://cloud.google

Я пытаюсь создать поток обработки событий с использованием Apache Beam. Шаги, которые происходят в...

Я пытаюсь прочитать и применить некоторые подмножества для нескольких файлов в GCP с помощью Apache...

У меня есть файл CSV, который содержит несколько столбцов (идентификаторы и числовые значения). Я...

Я использую Apache beam. Я протестировал две версии моего конвейера: одну с боковым вводом (разных...

Я использую Python Spark Runner, пытаясь выполнить этот шаг: ./gradlew...

Я только начинаю работать с Apache Beam с использованием Python. У меня есть задача, которую я хочу...

Я хочу записать значения из ключа, пары значений в текстовые файлы в GCS по ключу, используя FileIO...

Я надеюсь получить рекомендации по настройке --environment_config при запуске демо-версии Beam...

Следующий код: def get_pipeline(workers): pipeline_options =...

У меня есть PCollection, которую я прочитал из BigQuery, который имеет 2 поля: id и string_value. Я...

Я пытаюсь разделить CSV-файл на несколько CSV-файлов на основе значения столбца. Но сейчас я...

Я работаю над потоковой передачей Apache Beam. Я создал поток, который читает много тем и поместил...

Я могу собрать его с помощью IntelliJ IDEA, но я пытаюсь собрать gradle на Ubuntu 18.04.3 LTS из...

У меня есть папка GCS, в которой хранятся тысячи новых файлов json с разделителями строк. Я должен...

У меня есть потоковое задание, которое считывает из кафки темы avro payload и записывает с помощью...

В настоящее время у нас есть настройка ETL, в которой выполняются пакетные задания для получения...

sbt застревает при попытке скомпилировать этот проект (snowplow/snowplow, ветвь sbt_issue) и выходит...

Я пытаюсь отправить потоковые данные, прочитанные из Kafka, принять и преобразовать, а затем...

Я пытаюсь создать потокового потребителя Spache луча Apache (чтение из кинесиса), который должен...

Мы выполняем пакетное задание на flink, которое считывает данные из GCS и выполняет некоторую...

У меня простая проблема. Допустим, я читаю файл паркета, который выдает объект avro GenericRecord...

У меня есть простой конвейер, который читает из Kafka читателем KafkaIO и затем преобразует в...

К чему относятся ключи? Есть ли пример использования в случае раздвижного окна?