Чтение разделенного запятыми текстового файла в spark 1.6

Question

У меня есть текстовый файл, который похож на ниже

20190920

123456789,6325,NN5555,123,4635,890,C,9

985632465,6467,KK6666,654,9780,636,B,8

258063464,6754,MM777,789,9461,895,N,5

И я использую spark 1.6 со Scala для чтения этого текстового файла

val df = sqlcontext.read.option("com.databricks.spark.csv")
              .option("header","false").option("inferSchema","false").load(path)

df.show()

Когда я использовал вышеуказанную команду длячитать это чтение только первый столбец.Что-нибудь добавить, чтобы прочитать этот файл со всеми значениями столбцов.

Вывод, который я получил:

20190920

123456789

985632465

258063464

3

Answer 1

В этом случае вы должны предоставить схему, поэтому ваш код будет выглядеть так

val mySchema = StructType(
  List(
    StructField("col1", StringType, true),
    StructField("col2", StringType, true),
    // and other columns ...
  )
)

val df = sqlcontext.read
.schema(mySchema)
.option("com.databricks.spark.csv")
.option("header","false")
.option("inferSchema","false")
.load(path)