Я читаю из темы Pub / Sub, которая работает нормально, теперь мне нужно вставить в таблицу на...
Я пытаюсь прочитать и записать его в BigQuery с облачным потоком данных (Beam Python SDK).На чтение...
Ни один из предоставленных шаблонов DataFlow не соответствует тому, что мне нужно сделать, поэтому...
Я использую Anaconda с python 3.7 и разрабатываю код с использованием Apache beam в Spyder IDE.Я...
Я уже некоторое время использую Beam, и мне хотелось бы знать, каковы ключевые концепции написания...
Я создал потоковый конвейер луча Apache, который считывает файлы из папок GCS и вставляет их в...
Я хочу использовать поток данных для параллельной обработки нескольких видеоклипов, хранящихся в...
В последнее время в моих журналах вакансий в представлении сведений о работе много записей, таких...
Я пытаюсь объединить 2 неограниченных источника, используя Apache Beam Java SDK. При присоединении...
Я пишу простой конвейер потоковой передачи лучей Apache, беру вводные данные из темы pubsub и...
Ошибка google_dataflow_job.validate-job: googleapi: Ошибка 400: (a9596c1f713a1bd6): рабочий процесс...
Я загружаю CSV-файлы из GCS в BigQuery и запускаю задачу через Cloud Composer (затем делаю другие...
Мы используем Apache Beam для обработки потоковых данных из источника pubsub в приемник GCS с...
Когда я использую окно сеанса с интервалом в 1 час и после обработки миллиона сообщений, я получаю...
Я хотел иметь глобальное окно, которое длится 10 часов после просмотра первого элемента, но...
Мой код запускает несколько очень похожих заданий потока данных за один прогон. Обычно это работает...
1) Я написал конвейер, который имеет входной поток pub / sub. Я хочу изменить его с опцией --update...
Я работаю со следующим кодом, используя тензор потока-преобразования: import tensorflow as tf...
Я собираю информацию о рейсах.Максимальная продолжительность полета 10 часов.Я получаю информацию...
Я написал некоторый потоковый конвейер (начинается с Pub / Sub) и хочу добавить к нему механизм...
Наконец мне удалось загрузить данные в BQ, обнаружив, что у меня неверная схема.Однако отладку было...
Я начал использовать Apache Beam с Python, и я застреваю каждые 30 минут.Я пытаюсь сгладить...
Ранее мы использовали Beam 2.11.0, который начал давать сбой из-за очевидного изменения формата URN
Я использую преобразование тензорного потока / конвейер лучей для загрузки / предварительной...
Я пишу конвейер Apache Beam на python и пытаюсь загрузить несколько текстовых файлов, но при...