Я работаю над проектом Google App Engine, я создал один класс для задания потока данных облака...
У меня есть строки с различными символами, которые необходимо записать в Google BigQuery, для...
Я пытаюсь написать собственный шаблон для чтения CSV и вывести его в другой CSV. Цель состоит в том...
У меня есть приложение, где пользователи могут голосовать за что-то. Я хочу, чтобы мое приложение...
Я пытаюсь прочитать файл CSV (с заголовком) из GCS, который содержит около 150 столбцов, а затем 1....
В конвейере лучей apache я беру данные из облачного хранилища и пытаюсь записать их в таблицу...
Я использую Apache Beam для чтения данных из хранилища данных Google Cloud с помощью собственных io
У меня есть 2 модели хранилищ данных: class KindA(ndb.Model): field_a1 = ndb.StringProperty()...
Я получаю сообщения из темы kafka, которая отправляет мне сообщение JSON. Я хотел бы извлечь поле...
У меня есть потоковая работа, которая читает из pubsub и пишет в pubsub, выполняя некоторую базовую...
Я использую Google Cloud Dataflow для Python SDK, чтобы прочитать 200k + сущностей из хранилища...
Я попытался выполнить свой код потока данных python с указанным ниже аргументом командной строки....
Необходимо настроить конвейер данных Google для обработки файла (чтение, преобразование и запись),...
Хотите сохранить ошибочные записи в конвейере потока данных Google, чтобы его можно было найти /...
Я пытаюсь получить входные данные от pandas dataframe к конвейеру лучей apache и записать его в GCS
Я использую Python SDK для Apache Beam, чтобы запустить конвейер извлечения функций в Google...
У меня есть две PCollections: одна, которая извлекает информацию из Pub / Sub, и другая, которая...
Согласно Модель исполнения луча Apache - связывание и постоянство : "Вместо одновременной обработки...
Я пишу поток данных Apache beam BAtch, в котором я пишу из GCS в BQ.Мои данные содержат 4 миллиона...
Моя цель - получить доступ к времени публикации сообщения PubSub, как записано и установлено Google...
Я получаю сообщения из Google Cloud Pub / Sub в следующем формате: {u'date':...
В задании Google Dataflow используется библиотека KafkaIO от Apache Beam с AvroIO и Windowed....
У меня растут данные в GCS, и у меня будет пакетное задание, которое позволяет, скажем, каждый день...
Я работаю над конвейером, который читает сообщения от Kafka с использованием KafkaIO, и я смотрю на...
Я искал, как обновить боковой ввод в задании потока данных без перезапуска конвейера.Я нашел этот...