Мой код прилагается. Есть два CSV, которые мне нужно прочитать. Я читаю в первом CSV, а затем хочу...
Я пытаюсь использовать запись в pubsbub после чтения из csv и записи нескольких преобразований,...
Контекст: Потоковый конвейер с использованием потока данных 2.6.0, использующий окна и этапы...
У меня проблема при сборке главного узла Apache beam 2.6.0-SNAPSHOT и ошибка получения: Failed to...
Пытаюсь сделать что-то концептуально простое, но биться головой о стену. Я пытаюсь создать...
Согласно документации BigQuery, вы можете обеспечить согласованность данных, предоставив insertId...
Я использовал Python SDK Apache Beam для создания программы командной строки для запуска заданий...
Не могу найти документацию по этому поводу.У меня есть конвейер apache-beam, который принимает...
При чтении данных из таблицы BQ NUMERIC тип данных Все еще не поддерживается в Apache Beam, но с...
Мы создали конвейер Apache Beam, который успешно работает при работе по прямому конвейеру.См....
Я запускаю конвейер луча apache в облаке Google (через поток данных Google).В моем коде python я...
Заранее спасибо! [+] Проблема: У меня много файлов в облаке Google, для каждого файла мне нужно:...
Возможно ли выполнить запись во 2-ю таблицу BigQuery после того, как запись в 1-ю завершена в...
Мой поток данных постоянно завершается с ошибкой в моей функции объединения, и в журналах не...
Один из первых шагов в моем конвейере Dataflow включает чтение данных из таблицы, хранящейся в...
У меня сжатый файл в облачном хранилище Google. Этот файл содержит большой CSV-файл и небольшой...
Когда рабочий Dataflow застревает, было бы полезно иметь возможность получить дампы потока процесса...
У меня есть список словаря в потоке данных. Я преобразовал столбцы в словарь пары ключ-значение....
Я уже давно использую Apache Beam Python SDK, используя облачный сервис передачи данных Google. Я...
Java-пакет Apache Beam имеет класс DynamicDestination , который позволяет выполнять запись в...
Я пытаюсь запустить задание потока данных облака Google, созданное с использованием шаблона "pubsub...
У меня есть задание потока данных, которое кажется сбойным из-за слишком большого тела http_request...
У меня возникли проблемы с определенным потоком данных Apache Beam Python SDK. Если я перебираю...
Имеет ли Python SDK для Apache Beam поддержку IntraBundleParallelization , как Java SDK?Я понимаю,...