ubuntu scala ide - spark - toDF Значение ошибки метода toDF не является членом org. apache .spark.rdd.RDD [String]

Question

я сталкиваюсь с проблемой с scala IDE (Ubuntu), метод toDF не работает правильно, см. Мой код

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.rdd.RDD

object ScalaTextSearch {
  def main(args: Array[String]) {
    val conf = new SparkConf()
      .setAppName("TextSearch")

    val sc = new SparkContext(conf)
    val texte = sc.textFile(args(0))
    val df = texte.toDF("line")

спасибо

Answer 1

вам нужно импортировать неявные преобразования из SparkSession (при условии, что Spark 2.0 или выше):

val ss = SparkSession.builder().appName("TextSearch").master("local").getOrCreate()
import ss.implicits._

val texte = ss.sparkContext.textFile(args(0))
val df = texte.toDF("line")