Оцените Spark Inside Scala ToolBox - PullRequest
       43

Оцените Spark Inside Scala ToolBox

0 голосов
/ 08 октября 2019

Могу ли я оценить искру в наборе инструментов Scala? Мне нужно что-то прочитать с помощью spark на панели инструментов, мой код выглядит следующим образом:

object Something extends SparkScript {
  def main(args: Array[String]): Unit = {
    val command =
      s"""
        |import spark.implicits._
        |
        |val ds = spark.read.parquet("$path").as[SomeGeneric]
        |ds.write.csv("$anotherPath")
        |""".stripMargin

    val toolBox = currentMirror.mkToolBox()
    toolBox.eval(toolBox.parse(command))
  }
}

Кстати, SparkScript - это черта, которая создает SparkSession, а панель инструментов всегда выдает ошибку, котораясказал object read is not a member of spark

...