Spark читать CSV с разделителями игнорируя escape - PullRequest
1 голос
/ 20 марта 2019

Мне нужно прочитать csv, разделенный символом «|»: каждое значение столбца является строкой, и оно заключено между «».Я использую этот код для чтения файла

val df = spark.read.option("header", "true").option("delimiter","|").option("escape", "_").option("inferSchema","false").csv("maprfs:///iper/file.txt")

Есть ли способ игнорировать и не использовать escape-символ?В противном случае, как я могу удалить специальный символ в CSV-файле (например, "\" или "_") и перезагрузить его в качестве кадра данных?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...