Использование приведенной ниже команды для чтения файла CSV.
spark.read.option("multiLine","true").option("delimiter",'^').option("escape", "}").csv("/file.csv").show(20,False)
Исходные данные
"1", "manas" madul "
"2", "kat Nyshi"
Целевые данные
1, "манас"Мадул "
2, кат Ныши
Ожидаемые данные
1, манас" Мадул
2, кат.как указано в ожидаемых данных