чтение второго слова каждой строки с использованием искры

Question

Я хочу прочитать / напечатать второе слово в каждой строке.

input - >> люди не такие красивые, как выглядят,
как они ходят или как они говорят.
они такиетолько настолько красивыми, насколько они любят,
так же, как они заботятся, как они делятся.

вывод - >> они они

Answer 1

Пожалуйста, проверьте это:

    val myDF=spark.read.text("<path>")
    import org.apache.spark.sql._
    import org.apache.spark.sql.types._
    val rdd=myDF.rdd.map(_.mkString("")).map(f=> Row(f.split(" ")(1)))
    val schema:StructType  = (new StructType).add("values",StringType )
    val result=spark.createDataFrame(rdd, schema)
    result.show()