У меня есть большой фрейм данных, где некоторые поля содержат abcdef, xyz\\, а иногда 14"-abcd. Я должен преобразовать этот dataframe в csv в pyspark. Я пробовал несколько escape-последовательностей, т.е. .option("escape", "\\") Но это помогло только с исправлением 14 "-ab c, но я все еще получаю "abcdef\" в csv. Я попытался сбежать с 4 backsla sh, но я получаю ошибку:
java.lang.RuntimeException: escape cannot be more than one character
Также надоела эта команда:
df_tmp.coalesce(1).write.mode("overwrite").option("header","true").option("escapeQuotes", "false").option("quoteAll", "false").option("escape", "\\").option("charToEscapeQuoteEscaping", "\"").csv('abcd')
и получил
"abcdef, xyz"\"
Можно ли как-то сбежать как следует?