Применять кодировку UTF8 при записи Scala Dataframe в файл CSV

Question

Как правильно применить кодировку UTF8 при записи кадра данных в файл CSV в Spark2-Scala? Я использую это:

df.repartition(1).write.mode(SaveMode.Overwrite)
.format("csv").option("header", true).option("delimiter", "|")
.save(Path)

И это не работает: пример: замена é на странные строки.

Спасибо.

Answer 1

Так как @Христо Илиев предположил, что мне нужно форсировать UTF-кодирование, используя:

df.repartition(1).write.mode(SaveMode.Overwrite)
.format("csv").option("header", true).option("encoding", "UTF-8").option("delimiter", "|")
.save(Path)