Я создал потоковый конвейер луча Apache, который считывает файлы из папок GCS и вставляет их в...
Я принимаю данные (файл json) через Pub / sub. Поэтому мое время события по умолчанию - это время...
Я новичок в Dataflow, так что простите меня, если мой вопрос смешной, у меня есть csv-файл, который...
У меня есть список URL с подстановочными знаками внутри них, как я могу передать его в FileIO.match...
Я загружаю CSV-файлы из GCS в BigQuery и запускаю задачу через Cloud Composer (затем делаю другие...
Я хотел бы получить доступ к графическому объекту моего конвейера лучей apache, чтобы...
Эй, у меня возникли проблемы при создании задачи «Потоки данных», в которой используется исходный...
Мы передаем поток данных с помощью FixedWindow в течение 5 минут. Мы используем эти данные за 5...
У меня есть хранилище озера данных Azure gen1 (ADLS-1) и фабрика данных Azure (ADF) (V2) с потоком...
Я пишу скрипт проверки данных в Apache Beam. Всякий раз, когда новый файл загружается в Google...
У меня есть настройка потока данных с несколькими конвейерами, извлекающая данные из пабов....
У меня есть конвейер, который получает поток событий от PubSub, применяя 1-часовое окно, а затем...
Я работаю с фабрикой данных Azure и ее новой функцией потоков данных. Это графический интерфейс,...
У меня есть код, созданный с помощью Apache-Beam, который читает файл CSV и вставляет его в...
Я хотел бы создать одну панель, когда водяной знак достигает x минут после конца окна. Это...
Это пример придуманной игрушки, чтобы попытаться получить помощь по сложным частям моей проблемы....
У меня есть каталог, заполненный 99 файлами, я хочу прочитать эти файлы и затем хэшировать их в...
Мне нужно выполнить запросы на пучок SQL и в конце записать результат в BigQuery. У меня есть...
Я пишу конвейер Beam для запуска произвольного кода Pandas в коллекции CSV. Это должно выполняться...
Похоже, что Google Dataflow поддерживает конвейеры с сохранением состояния в некоторой степени в...
Я пытаюсь следовать шаблону разработки для медленно изменяющегося кэша поиска (https://cloud.google
Есть ли способ использовать результат из приемника, то есть PDone, для дальнейшей обработки, такой...
У меня есть случай, когда мне нужно перехватить поток данных от одного API к другому.Например, мой...
Я уже создал поток данных gcloud на облачной платформе Google, и теперь мне нужно сделать это с...
В настоящее время мы работаем над потоковым конвейером на Apache Beam с DataflowRunner.Мы читаем...