Spark Scala для чтения CSV с запятой в данных

Question

Мой CSV файл, который находится в zip-файле, содержит следующие данные:

"Potter, Jr",Harry,92.32,09/09/2018
 John,Williams,78,01/02/1992

И я читаю его с помощью spark scala csv reader.Если я использую,

.option('quote', '"')
.option('escape', '"')

, я не буду получать фиксированное количество столбцов в качестве вывода.Для строки 1 выводом будет 5, а в строке 2 - 4. Желаемый вывод должен возвращать только 4 столбца.Есть ли способ прочитать его как DF или RDD?

Спасибо, Эш

Answer 1

Проверьте это.

  val df = spark.read.csv("in/potter.txt").toDF("fname","lname","value","dt")
  df.show()

+----------+--------+-----+----------+
|     fname|   lname|value|        dt|
+----------+--------+-----+----------+
|Potter, Jr|   Harry|92.32|09/09/2018|
|      John|Williams|   78|01/02/1992|
+----------+--------+-----+----------+

Answer 2

Для заданных входных данных я смог прочитать данные, используя:

val input = spark.read.csv("input_file.csv")

Это дало мне Dataframe с 4 строковыми столбцами.