Я пытаюсь создать поток обработки событий с использованием Apache Beam. Шаги, которые происходят в...

Следующий код: def get_pipeline(workers): pipeline_options =...

Я работаю над потоковой передачей Apache Beam. Я создал поток, который читает много тем и поместил...

У меня есть папка GCS, в которой хранятся тысячи новых файлов json с разделителями строк. Я должен...

У меня есть потоковое задание, которое считывает из кафки темы avro payload и записывает с помощью...

Я использую CSVRecordSource для чтения CSV в конвейере Apache Beam, который использует open_file в...

У меня есть простой конвейер, который читает из Kafka читателем KafkaIO и затем преобразует в...

Я пытаюсь реализовать функцию ListFlatten, я реализовал ее, используя SimpleDoFn, которая работает...

Я пытаюсь подключиться к AWS S3 с помощью BasicSessionCredentials, но получаю исключение, например...

Apache beam В конвейере ввода / вывода есть две функции для чтения текстовых файлов: beam.io

У меня есть конвейер Apache Beam, написанный на Java, где я хотел бы прочитать данные, поступающие...

Как я могу прочитать все файлы паркета, хранящиеся в HDFS, используя Apache-Beam 2.13.0 Python SDK...

Я конвертирую CSV-файл в XML-файл, используя Apache Beam и объект JAXB, TextIO.read () читает весь...

Я ищу объединение данных в PCollection вход представляет собой файл CSV customer id,customer name...

Я пишу конвейер Apache Beam на python и пытаюсь загрузить несколько текстовых файлов, но при...

Обработка потоковых событий и запись файлов в почасовые сегменты является проблемой из-за окон,...

При записи простых записей в таблицу в Postgres (может быть любой дБ) в конце конвейера некоторые...

В разделе окон руководства по программированию модели Beam показан окно, определенное и...

Я изучаю Apache Beam и пытаюсь реализовать что-то похожее на distcp. Я использую FileIO.read ()....

Я написал этот конвейер, но когда я запускаю его как jar, он не может найти прямого бегуна, когда...

При чтении файла паркета, имеющего столбец дата , возникает следующее исключение.Я использую...

поэтому я написал конвейер луча apache, который читает файл, который содержит 99 других файлов,...

Я использую Apache Beam Python SDK (apache-beam == 2.11.0) для запуска задания потока данных с...

Я пытаюсь объединить две неограниченные PCollection, которые я получаю из двух разных тем кафки на...

Я пытаюсь прочитать набор файлов XML в конвейер Apache Beam. Некоторые элементы имеют пространства...