Я создаю tempview в spark, используя функцию df.createOrReplaceTempView.После создания представления я применяю sql к последнему столбцу, чтобы удалить возврат каретки.Ниже приведен пример кода.
val sqlString = """select regexp_replace(lastColName, "[\\r\\n]", "") as trimmed_column from tempView"""
val df = sparkSession.sqlContext.sql(sqlString)
df.show(false)
Когда я записываю выходные данные кадра в расположение на моем компьютере с Windows и открываю файл детали, используя notepad ++ с " view->покажи символы"включено, я все еще вижу CRLF в конце каждой строки.Есть ли что-то, чего мне не хватает в функциональности spark, или это то, как окна всегда будут отображаться в notepad ++, даже если CRLF не присутствуют в реальном времени?
Мой вопрос заключается в том, чтобы гарантировать, что мой партфайл не имеет CRLFсимволы даже после применения искровой функции regexp_replace?