Я просто пытаюсь изучить Apache Beam и возвращаю данные из базы данных оракула.Мне удалось...
С сервера я смог подключиться и получить данные из раздела удаленного сервера kafka, для которого...
Я разрабатываю модуль как для Google Cloud Storage, так и для AWS s3. В основном я сосредоточился...
Я использую Apache Beam и облачный поток данных Google для вставки информации в облачную базу...
Я новичок в DataFlow и пытаюсь настроить потоковый конвейер чтения файлов CSV из Google Cloud...
Я использую Apache Beam с Maven, и в pom.xml зависимость составляет <dependency>...
У меня есть проект, написанный на Java, с несколькими конвейерными лучами внутри него, который я...
Я новичок в Python Apache Beam и пытаюсь выполнить задачу, чтобы получить значения из pubsub и...
Трубопровод начинается с чтения из PUBSUBIo.Сообщение внутри PubSub IO - это путь к файлу GCS.Я...
Мой код (внутри основной функции для создания конвейера): - outCollection
У меня есть конвейер simeple, который пишет из s3 в pubsub следующим образом: Pipeline pipeline =...
Я думаю, что у меня есть функция, которая производит два выхода (пожалуйста, исправьте меня, если я...
Мы используем Apache луч через воздушный поток.Для учетной записи GCS по умолчанию задана...
У меня есть потоковое задание Apache Beam, которое считывает данные из Kafka и пишет в...
Итак, я пытался сделать вывод, что преобразование Count хранится в PCollection<Long>, который...
У меня проблемы с побочными входами, особенно BQ, для конвейеров потока данных, даже после того,...
Для простого подтверждения концепции я пытаюсь отобразить данные о кликах в двухминутных окнах.Все,...
Для проверки структуры сообщения перед публикацией в Pub / Sub и после использования из Pub / Sub я...
Я хотел бы хранить два вида сущностей, связанных композицией. A Пользователь имеет несколько...
Можно ли собирать объекты в PCollection в Apache Beam в память драйвера? Что-то вроде:...
В настоящее время я использую предоставленный Google шаблон gcs-text-to-bigquery и добавляю функцию...
Я пытаюсь получить пример подсчета слов из луча Java быстрого запуска с помощью этой команды mvn...
Я пытаюсь создать Cloud Dataflow 2.x (он же Apache Beam) PTransform, чтобы отфильтровать элементы...
Я использую Apache Beam для записи некоторых объектов в Google Big Query. Я использую код как...
Я пытаюсь выполнить ETL, который включает в себя загрузку файлов из HDFS, применение преобразований...