Trigger Dataflow (Python SDK) Работа с использованием облачных функций

Question

У меня есть требование для обработки входящих CSV-файлов в GCS.

Я не могу запустить выполнение с помощью команд оболочки в облачных функциях, таких как:

subprocess.run([
    "python", "-W", "ignore", "dataflow_ingestion_engine.py",
    "gs://logs-check/csv_input/input2.csv", "--runner", "DataflowRunner"]
    )

или

command = """
python tmp/dataflow_ingestion_engine.py gs://logs-check/csv_input/input2.csv --runner DataflowRunner
"""
os.system(command)

Облачная функция не выполняет выполнение оболочкичасть (ничего не видя в журнале). Как выполнить требование запуска потока данных (Python-SDK) с помощью облачной функции?

Answer 1

Вы не можете вызывать задания потока данных из облачных функций с помощью команды подпроцесса. Вы должны будете выполнять вызовы REST или gRPC из кода своей облачной функции.

Пример работы по запуску шаблонов можно найти здесь [1].

Вы можете сослаться на это и подать свою работу.

1 - https://github.com/GoogleCloudPlatform/python-docs-samples/tree/master/dataflow/run_template