Как преобразовать FileInputStream / Source.fromFile в фрейм данных в Spark?

Question

Я хочу преобразовать FileInputStream / Source.fromFile в dataframe, есть ли хороший способ?

spark2-submit --files /property.yml --class com.mas.Main test.jar

---

val aa = new FileInputStream("property.yml")
or 
for (line <- Source.fromFile("property.yml").getLines) {
      println(aa)
}

Может кто-нибудь дать совет?

Answer 1

Не уверен, что это отвечает на ваш вопрос, но вы можете сделать что-то вроде этого.

 val lines = Source.fromFile("/path/to/
 your/file").getLines.toList

 val df = lines.toDF()