sparkSql нет такой ошибки метода - PullRequest
0 голосов
/ 28 июня 2018

Я новичок в изучении sparkSQL и пытаюсь запустить примеры, представленные в документе spark, но получаю сообщение об ошибке: введите описание изображения здесь

моя программа такая: введите описание изображения здесь

что мне делать. примечание: я использую IDEA для редактирования моей программы весь код:

import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.sql.{Row, SQLContext, SparkSession}
import org.apache.spark.sql.types._

object SqlTest1 {

  case class Person(name: String, age:Long)

  def main(args: Array[String]): Unit = {
    val spark = SparkSession
      .builder()
      .getOrCreate()
    import spark.implicits._
    runBasicDataFrameExample(spark)
  }

  private def runBasicDataFrameExample(spark: SparkSession)={
    val df = spark.read.json("resorces/people.json")
    df.show()
  }
}

Ответы [ 2 ]

0 голосов
/ 28 июня 2018

это может быть версия Scala не совпадает. Вы можете проверить версию scala verion и spark.

0 голосов
/ 28 июня 2018

Val Conf = новый SparkConf (true) .setAppName («appName»)

Val spark = SparkSession.builder (). Config (Conf) .getOrCreate ()

Val df = spark.read.option («timestampFormat», «гггг / мм / дд ЧЧ: мм: сс ZZ) .json (путь)

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...