При использовании AWS EMR Step Spark-Submit, как заставить его принять путь с пробелом

Question

Я пытаюсь использовать с консоли консоли AWS EMR пробел в пути, но по какой-то причине spark-submit делает что-то странное и не работает при вводе пробела.

Command

spark-submit "s3://bucket/prefix with spaces/stepCode.py"
spark-submit 's3://bucket/prefix with spaces/stepCode.py'
spark-submit s3://bucket/prefix%with%spaces/stepCode.py

Ошибка от AWS

python: can't open file '/mnt/var/lib/hadoop/steps/s-3XXXXXXXXXXXX/s3:/bucket/prefix with spaces/stepCode.py': [Errno 2] No such file or directory

Однако это работает

spark-submit s3://bucket/nospaces/stepCode.py

и код сбрасывается как-то ниже

/mnt/tmp/spark-XXXXXX-XXXXXXXX-XXXXXXX-XXXXXXX/stepCode.py

Есть идеи о том, как заставить spark-submit принять путь с пробелом в нем? Спасибо

Answer 1

Попробуйте, выбрав spaces с backslash \

spark-submit s3://bucket/prefix\ with\ spaces/stepCode.py