Могу ли я оценить искру в наборе инструментов Scala? Мне нужно что-то прочитать с помощью spark на панели инструментов, мой код выглядит следующим образом:
object Something extends SparkScript {
def main(args: Array[String]): Unit = {
val command =
s"""
|import spark.implicits._
|
|val ds = spark.read.parquet("$path").as[SomeGeneric]
|ds.write.csv("$anotherPath")
|""".stripMargin
val toolBox = currentMirror.mkToolBox()
toolBox.eval(toolBox.parse(command))
}
}
Кстати, SparkScript
- это черта, которая создает SparkSession
, а панель инструментов всегда выдает ошибку, котораясказал object read is not a member of spark