Разница между искрой чтения textFile и CSV

Question

Я пытаюсь прочитать текстовый файл, разделенный знаком |. Я пытаюсь это

spark.read.format("com.databricks.spark.csv").option("header","true").option("delimiter", "|").option("inferSchema","true").csv("/tmp/file.txt").show()

Я только читаю / вижу только заголовок, но нет данных.

Когда я пытаюсь сделать то же самое с textFile, я получаю данные, но все в одном столбце

spark.read.format("com.databricks.spark.csv").option("header","true").option("delimiter", "|").option("inferSchema","true").textFile("/tmp/file.txt").show()

Есть ли способ чтения данных через CSV? Я использую свечу 2.4.4

Answer 1

Причиной проблемы был файл в UTF16, поэтому мне пришлось преобразовать его и запустить на нем dosto unix. Спасибо за ваш совет. Извиняюсь я правда не знал что