создать фрейм данных в scala со списком строк

Question

У меня есть данные, поступающие в виде List [String], где каждая строка является строкой, а столбцы разделяются запятой. Я должен создать фрейм данных, чтобы я мог запрашивать данные, создавая представление поверх этого. Кто-нибудь может подсказать мне, как мы можем преобразовать это в Dataframe.

List[String] = List([Table,EXTERNAL,hive,name1],[Table,EXTERNAL,hive,name2],[Table,EXTERNAL,hive,name3])

Answer 1

import spark.implicits._
val df = List("Table,EXTERNAL,hive,name1","Table,EXTERNAL,hive,name2","Table,EXTERNAL,hive,name3")
  .map(_.split(",") match {
    case Array(table, tableType, db, name) => (table, tableType, db, name)
  })
  .toDF("table", "type", "db", "name")
df.show()
df.printSchema()

который печатает:

+-----+--------+----+-----+
|table|    type|  db| name|
+-----+--------+----+-----+
|Table|EXTERNAL|hive|name1|
|Table|EXTERNAL|hive|name2|
|Table|EXTERNAL|hive|name3|
+-----+--------+----+-----+

root
 |-- table: string (nullable = true)
 |-- type: string (nullable = true)
 |-- db: string (nullable = true)
 |-- name: string (nullable = true)