Что такое CPS в SPARK_SUBMIT_OPTIONS? - PullRequest
Новая
       43

Что такое CPS в SPARK_SUBMIT_OPTIONS?

0 голосов
/ 09 мая 2018

в AWS EMR /etc/zeppelin/conf/zeppelin-env.sh, это имеет 

export SPARK_SUBMIT_OPTIONS="$SPARK_SUBMIT_OPTIONS \
--conf 'spark.executorEnv.PYTHONPATH=/usr/lib/spark/python/lib/py4j-src.zip:/usr/lib/spark/python/:<CPS>{{PWD}}/pyspark.zip<CPS>{{PWD}}/py4j-src.zip' \
--conf spark.yarn.isPython=true"

что это <CPS> в spark.executorEnv.PYTHONPATH?

1 Ответ

0 голосов
/ 10 мая 2018

CPS = "разделитель пути к классам" (например, ':' в Linux и ';' в Windows)

См. https://issues.apache.org/jira/browse/YARN-6554 для справки.

Немного странно, что этот параметр, который вы видите, смешивает и ':'. На самом деле, он должен, вероятно, использовать вместо всех ':', чтобы быть независимым от платформы. Однако, поскольку EMR поддерживает работу только в AmazonLinux, он не обязательно должен быть независимым от платформы.

...