Мне было интересно, возможно ли использовать оператор if в конвейере лучей для принятия другого...
У меня много json-файлов в корзине, и с помощью python 3 я хочу получить имя файла, а затем создать...
Я пытаюсь запустить Java-код из проекта Maven, в котором используются оба...
Я хочу применить пользовательскую логику к набору данных, помещенному в Redshift.Пример входных...
Я использую Google Datastore для хранения нескольких объектов.Миллионы.В какой-то момент я больше...
Согласно документации Apache Beam Триггер AfterWatermark работает во время события.Триггер...
У меня есть поток данных, который добавляется к существующей таблице больших запросов, которая...
Недавно я столкнулся с проблемой, которая сводила меня с ума, так как это происходит только после...
Я пытаюсь написать задание потока данных, которое должно обрабатывать журналы, расположенные в...
Присоединяйтесь к двум Pcollection с подходом CoGroupsByKey, который занимает часы, чтобы выполнить...
Недавно я увидел, что в GCP есть новый инструмент, известный как Data Fusion, и, глядя на него,...
Я создаю демонстрационный конвейер для загрузки CSV-файла в BigQuery с Dataflow, используя мою...
Я бы хотел построить следующий конвейер: pub/sub --> dataflow --> bigquery Данные потоковые,...
В настоящее время мы используем Dataflow для запуска потокового задания. В этой работе мы выполняем...
Я играл с таймерами Apache Beam, но не могу их запустить. Насколько я знаю, вы определяете таймер в...
Когда я запускаю свое задание потока данных с SDK версии 2.9.0, мое задание потока данных...
Я получаю ошибку: Error: A JNI error has occurred, please check your installation and try again...
при локальном запуске потоков и передаче несуществующего локального адреса в качестве входных...
Я использую Apache Beam 2.13.0 с GCP Data Runner. У меня проблема с потоковой передачей в BigQuery...
Я использую конвейер DataFlow для потоковой передачи данных с устройств iot (через подписку PubSub)...
Я пытаюсь использовать набранные bigquery api, как показано на scio веб-сайте : @BigQueryType
У меня есть конвейер потока данных в потоковом режиме, так как он читает из раздела pubsub. Я хочу...
Я запустил 13 заданий потока данных ~ 43 минуты назад, и все они находятся в состоянии "не...
Мы создаем конвейер потока данных, мы будем читать данные из postgres и записывать их в файл...
Я пытаюсь получить данные из хранилища данных из другого пространства имен, используя поставщика...