Как передать символ Unicode через конфигурацию spark-submit?
при передаче символа Unicode \u001D в качестве разделителя csv через spark-submit, он выдает ошибку ниже:
Неподдерживаемый специальный символ для разделитель: \ u001D. null ()
spark-submit
--conf spark.csv.delimeter="\u001D" \
приведенный ниже код работает в spark-shell
val df = spark.read.option("sep","\u001D").option("header", "false").csv("PATH")
любая опция для передачи символа юникода через spark-submit