Передача файлов и аргументов в DataProcPySparkOperator - PullRequest
Новая
       12

Передача файлов и аргументов в DataProcPySparkOperator

1 голос
/ 12 февраля 2020

Я пытаюсь передать аргументы и ZIP-файлы во временный Datapro c Кластер в Composer

spark_args = {
    'conn_id': 'spark_default',
    'num_executors': 2,
    'executor_cores': 2,
    'executor_memory': '2G',
    'driver_memory': '2G',
}    

task = dataproc_operator.DataProcPySparkOperator(
                task_id='spark_preprocess_{}'.format(name),
                project_id=PROJECT_ID,
                cluster_name=CLUSTER_NAME,
                region='europe-west4',
                main='gs://my-bucket/dist/main.py',
                pyfiles='gs://my-bucket/dist/jobs.zip',
                dataproc_pyspark_properties=spark_args,
                arguments=['--name', 'test', '--date', self.date_exec],
                dag=subdag
            )

Но я получаю следующую ошибку, любая идея, как правильно форматировать аргументы?

Недопустимое значение в 'job.pyspark_job.properties [1] .value' (TYPE_STRING)

1 Ответ

1 голос
/ 19 февраля 2020

Как указано в комментарии , проблема в том, что spark_args имеет нестроковые значения, но оно должно содержать только строки на сообщение об ошибке: 

Invalid value at 'job.pyspark_job.properties[1].value' (TYPE_STRING)
...