Когда я захотел загрузить свой несвязанный ввод из Kafka в BigQuery, я наткнулся на вариант

Учитывая следующие входные данные: (E1, E2), (E2, E3) и & (E3, E4). Можно ли вывести (E1, E2, E3,...

Как отправить подтверждение в поток данных Amazon Kinesis (Kinesis) после обработки данных,...

Я использую Python Beam в потоке данных Google, мой конвейер выглядит так: Чтение URL-адресов...

При выполнении задания потока данных для выполнения записи BigQuery с помощью BigQueryIO

а) При чтении из ограниченного источника, насколько большим может быть размер PCollection при...

Я пытаюсь загрузить большие файлы из http и загрузить их в gcs, используя apache-beam python sdk (2

Я перебираю этот пример из курсов Coursera в облаке Google, и хотя они работали до нескольких...

Я использую Google Cloud PubSub и Dataflow для обработки моих данных. Я хотел бы определить, когда...

Я удалил копию шаблона Pub / Sub to BigQuery Dataflow из Google github репозитория . Я запускаю его...

Мы отправляем сообщения для нескольких таблиц pub / sub к одной и той же подписке.Атрибут pub / sub...

Интересно, достаточно ли умен Apache Beam.Google DataFlow, чтобы распознавать повторяющиеся...

Мой вопрос, за кулисами, для поэлементного Beam DoFn (ParDo), как параллельная рабочая нагрузка...

По данным сайта Beam , Часто быстрее и проще выполнять локальное модульное тестирование на вашем...

Есть ли способ динамически масштабировать объем памяти модуля Pod в зависимости от размера задания...

В чем разница между SerializableCoder и AvroCoder, и когда я должен использовать один над другим в...

Я выполняю запрос: "SELECT e.name,d.name FROM emp as e, department as d WHERE e.dept = d

Я реализовал пакетирование по N элементам, как описано в этом ответе: Может ли вход хранилища...

Q1: скажем, я загружаю закодированные данные Avro, используя инструмент загрузки BigQuery.Теперь...

Я читал, что Combine более эффективно группирует PCollection по ключам, поскольку он может...

Можно ли получить доступ к номерам строк со строками, считанными в PCollection из TextIO.Read?Для...

Я пытаюсь агрегировать потоковые данные за каждый час (например, с 12:00 до 12:59 и с 01:00 до...

Конвейер Пример использования: Этот конвейер читает файлы json из 30 каталогов GCS, каждый день...

У нас есть тема PubSub с событиями, погружающимися в BigQuery (хотя конкретная БД здесь почти не...

У меня есть конвейер, который я могу выполнить локально без каких-либо ошибок.Я имел обыкновение...