Я использую следующие библиотеки для Apache Beam для запуска задания потока данных для чтения...
Я новичок в Scio и пытался узнать больше об этом.Я видел несколько примеров в исходном коде Scio и...
Я уже успешно приспособил TFTransformOutput к некоторым данным (в данном случае это набор данных...
Я работаю над проектом Apache Beam, который столкнулся с проблемой со службой потока данных и...
В настоящее время я читаю pub / sub и указываю, какой атрибут использовать в качестве временной...
Я использую фиксированное окно, которое я применяю к PCollection, чтобы выполнить GroupBy для...
Я читаю файл Json, используя TextIO в Apache Beam и пытаюсь записать его обратно в файл (просто...
Как часть потока данных / Apache Beam, я хотел бы прочитать из источника, затем записать в источник...
Ниже приведен фрагмент кода для объединения двух таблиц, скажем, из BigQuery.Но это делает полное...
Я использую apache-beam 2.5.0 python SDK Прикрепляя фрагмент кода в конвейере, я беру i / p из...
Функция BigQueryIO.Read возвращает PCollection TableRow, но как мне получить идентификатор задания...
Я пытаюсь использовать Python API облачного потока данных для написания простой программы, которая...
Я нахожу, что после apache beam 2.5.0 путь hdfs можно узнать по python луча sdk.Но в "/python2
У меня есть особенно простой конвейер Dataflow, где я хочу прочитать файл и вывести его...
Как использовать бегун Apache Beam Direct для аутентификации в GOOGLE_APPLICATION_CREDENTIALS?Я не...
Для всех типов вывода PCollection должен быть зарегистрирован кодер.Должен ли сам кодер быть...
Я использовал Direct Runner для чтения данных из Netezza с помощью драйвера JDBC Netezza. Я получаю...
Я пытаюсь запустить конвейер потока данных, который использует файлы python, которые интегрированы...
Поскольку документация доступна только для JAVA, я не мог понять, что это значит. В нем указано -...
Google Dataflow - Как указать TextIO при записи на предварительный сервер из Dataflow? (При условии...
У меня есть PCollection, которая состоит из столбца ID и семи столбцов значений.Есть несколько...
У меня есть базовый конвейер Beam, который читает из GCS, выполняет преобразование Beam SQL и...
У меня есть конвейер Beam, который начинается с чтения нескольких текстовых файлов, где каждая...
Учитывая набор данных, как показано ниже {"slot":"reward","result":1...
Я работаю над проектом в потоке данных Python Apache Beam, и мне нужно назвать таблицы больших...