Подготовка файлов к GCS с использованием Dataflow DirectRunner

Question

Таким образом, при использовании DataflowRunner мы размещаем файлы в GCS с помощью метода filesToStage, однако в DirectRunner этого не происходит. Есть ли способ поместить файлы стадии DirectRunner в GCS и использовать эти файлы, аналогичные DataflowRunner, возможно, используя ClassLoader или другой метод?

Answer 1

Нет, прямой бегун просто запускается локально, поэтому он не помещает файлы в GCS, он просто использует локальные файлы для запуска программного обеспечения. Мое лучшее предложение - написать инструмент, который ищет файлы в двух возможных местах, определяя, работает ли он на dataflowrunner или directrunner, путем обнаружения файлов