При использовании BeamSQL в конвейере потока данных (javacode), после применения SQLTransform.query...
Я проверяю, можем ли мы использовать Apache Beam для нашего конвейера данных.Например, нам нужно...
Я написал этот конвейер, но когда я запускаю его как jar, он не может найти прямого бегуна, когда...
У меня есть конвейер, который создает граф потока данных (сериализованное представление JSON),...
У меня та же проблема, что и у Github: GoogleCloudPlatform / DataflowJavaSDK # 220 Если я пытаюсь...
Это пример придуманной игрушки, чтобы попытаться получить помощь по сложным частям моей проблемы....
Рассмотрим понятие входного потока переплетенных записей, представляющих взаимодействие с...
У меня есть каталог, заполненный 99 файлами, я хочу прочитать эти файлы и затем хэшировать их в...
Цель состоит в том, чтобы хранить журнал аудита из разных приложений / заданий и иметь возможность...
Мы написали конвейер Beam для версии 2.11, но когда мы пытаемся запустить его в Cloud Composer с...
Цель: Я хочу загрузить потоковые данные, затем добавить ключ и затем подсчитать их по ключу....
Попытка использовать агрегатную функцию ApproximateDistinct.ApproximateDistinctFn из apache beam...
Чтобы объединить две вложенные структуры PCollection, нам нужно отсоединить PCollection перед...
Я пытаюсь разрушить слияние с GroupByKey. Это создает одно огромное окно, и, поскольку моя работа...
У меня есть PCollection[str], и я хочу генерировать случайные пары. Исходя из Apache Spark, моя...
Моя цель - объединить две таблицы, где вторая таблица нормальная, а первая таблица вложенной...
У меня есть простой конвейер потока данных и я пытаюсь выполнить его из облачной оболочки, Код:...
Я хочу использовать группировку с помощью пользовательского ключа, но пока моя попытка Мы...
У меня есть конвейер DataFlow, пытающийся построить индекс (пары ключ-значение) и вычислить...
Обновление Apache Beam Python SDK до версии 2.11.0. Я обновляю sdk с 2.4.0 до 2.11.0, используя...
Мы запускаем несколько потоковых конвейеров Dataflow, которые всегда в конечном итоге зависают и...
Как можно автоматически сгенерировать шаблон потока данных _метаданных файла из кода конвейера Beam
Я тестирую функцию Google Cloud Dataflow Pipeline следующим образом: @Test public void...
При чтении данных из таблицы bigQuery с помощью Dataflow Job старается избегать дублирования в...
В соответствии с указанием в ссылке попытался создать файл JAR для планирования задания потока...