Вот сообщение об ошибке, которое я распечатываю при сбое. Я использую сервер Dev Local и захожу на...

Возобновление того, что я ищу для работы с Apache Beam в Google Dataflow, выглядит примерно так:...

У меня есть требование изменить ~ / .ssh / authorized_keys для добавления пользовательских открытых...

Я пытаюсь настроить задание потока данных через менеджер развертывания, используя предоставленный...

Обработка не распределяется DataFlow, но обрабатывается одним узлом. Я создал следующую программу и...

Использовал сервис Google Dataflow для пакетной загрузки тех же 10 тыс. Json-записей, поступающих...

Недавно я начал работать с Apache Beam и облачным потоком данных Google для разработки больших...

У меня есть работа с потоком данных.Как определить метатеги для входа в систему через sss в рабочие...

При отправке задания потока данных в GCP я получаю эту ошибку: Traceback (most recent call last):...

Существует странная ситуация с Apache Beam Python 2.7 SDK 2.11.0 для довольно простого конвейера...

У меня есть входной gcs, где я получаю файлы, и я преобразую и загружаю его в другой gcs. Он...

мой прямой бегун работает нормально, за исключением того, что его не вставляют в bigquery. Хотя мой...

У меня есть конвейер луча apache, где я получаю некоторые тексты из входных файлов, используя...

Может кто-нибудь уточнить, для чего нужен аргумент id_label в преобразовании ReafFromPubSub ? Я...

Использование apache_beam.io.filesystems.FileSystems как писать в GCS с ParDo и DoFn ?? Я уже...

Я пытаюсь прочитать метаданные из pubsub, и я могу успешно прочитать сообщение, и после этого я...

Я передаю файлы в GCP Storage (ведро).Это приводит к частой ошибке (примерно 2 миллиона раз в день)...

Я создал простой конвейер потока данных, который считывает байтовые массивы из pubsub, открывает их...

Я использую Apache Beam KafkaIO в качестве источника моего конвейера. Мне нужно прочитать две темы...

Я получаю следующую ошибку при записи большого количества записей в BigTable. java.lang

У меня есть приложение, записывающее данные в pubsub Google Cloud, и, согласно документации pubsub,...

Я только что сделал обновление с apache-beam==2.5.0 до apache-beam[gcp]==2.11.0, и теперь я получаю...

В следующем коде я пытаюсь прочитать файл CSV, расположенный в dataFile, используя TextIO Beam и...

Я написал этот конвейер лучей Apache, чтобы выполнить какое-то преобразование из входного облака в...

У меня есть ведро GCS, где я получаю файлы каждую минуту, поэтому я использую метод pub / sub для...