Java Apache Beam - сохранить файл "LOCALY" с помощью DataflowRunner

Question

Can send the java code but currently, it's not necessary.

У меня есть проблема, когда я запускаю задание, так как (DirectRunner - с использованием экземпляра виртуальной машины Google) оно работает нормально, так как сохраняет информацию в локальный файл и продолжает ...

Проблема возникает при попытке использования (DataflowRunner), и ошибка, которую я получаю:

java.nio.file.NoSuchFileExtension: XXXX.csv
.....
.....
XXXX.csv could not be delete.

Он может быть удален, поскольку он даже не создан.

Проблема - как записать файл локально при запуске через DataflowRunner ??

P.S. Использование Apache Beam

Конвейер (часть кода) - Чтение из BigQuery и сохранение данных в хранилище Google (выпуск специальных символов)

Answer 1

AFAIK, когда он запускается как экземпляр потока данных, вы должны записывать файл в службу GCS (иначе говоря, в хранилище), а не на локальный диск.

Вы уже пробовали это? создать хранилище: https://cloud.google.com/storage/docs/creating-buckets