Я строю чтение конвейера Apache Beam из Kafka, используя KafkaIO, но я не уверен, как решить...
У меня есть куча файлов протобаффов в GCS, и я хотел бы обработать их через поток данных (java sdk)...
Есть ли способ получить устаревший urlsafe объекта хранилища данных в потоке данных? Я пробовал...
Документация по Apache Beam Создание преобразований ввода-вывода - обзор состояния: Чтение и запись...
Когда я пытаюсь написать свое собственное демо Apache Beam, используя Kafka для публикации /...
У меня есть файл csv с заголовком формат файла csv. метка времени, название продукта, цена без...
Я использую уведомления pubsub для облачного хранилища для чтения новых файлов в потоке данных.Я...
У меня есть корзина, в которую я ежедневно вставляю огромные текстовые файлы (около 300 миллионов...
Я смотрел на пример wordCount из Apache Beam , и когда я попытался запустить этот пример локально,...
Я следую этому примеру , но на шаге: Запустите WordCount , через прямую команду $ mvn compile...
Я вызываю эту функцию в Iterable коллекции Java, полученной из функции GroupByKey: static class...
У нас есть конвейер для чтения данных из OracleServer и записи их в Cloud Sql (mysql).Мы хотим...
Я использую Apache Beam для получения журнала от Pub / Sub, который содержит информацию о трафике...
Я создал конвейер для сохранения сообщений Google Cloud Pubsub в текстовые файлы с использованием...
Мой вариант использования для Облачного потока данных Google - использовать Redis в качестве кэша...
Я вижу, что Scio отказывается от кодера Kryo, а не от Java Serializer, который является кодером по...
Я работаю над потоком данных Google, который извлекает данные из pubsub, конвертирует их в avro и...
Я относительно новичок в Apache Beam, поэтому, пожалуйста, потерпите меня. BigQuery недавно...
Я читаю данные из BigQuery и пишу в Redis, используя RedisIO из Apache Beam API.Ниже приведен...
У меня есть сценарий использования, в котором я должен читать выбранные данные из BigQuery,...
Я пытаюсь сделать следующее, используя DataFlowRunner: Чтение данных из многораздельной таблицы...
Мой конвейер создает Pcollection с уникальными пространствами имен, которые я хочу передать в...
Я хотел бы реализовать очень простой лучевой конвейер: read google storage links to text files from...
Следующий код запускается при использовании с directRunner, но не с sparkRunner. Я пытаюсь написать...
мы начали реализацию коннектора ввода-вывода mongoDB для первого теста Apache Beam, и часть Source,...