Исключение нулевого указателя после добавления зависимости к интерпретатору Spark2 - PullRequest
0 голосов
/ 06 октября 2018

Я пытаюсь добавить эту зависимость в интерпретатор spark 2 в zeppelin

https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11/2.2.0

Однако после добавления зависимости я получаю исключение нулевого указателя при запуске любого кода.

Null Pointer Exception Screenshot

Spark & Scala Version Screenshot

Adding Dependency

Ответы [ 3 ]

0 голосов
/ 07 октября 2018

Просто добавьте %spark.sql вверху своего ноутбука, чтобы обеспечить среду SQL

https://zeppelin.apache.org/docs/0.8.0/interpreter/spark.html#overview

0 голосов
/ 08 октября 2018

Я решил проблему.Я определял класс в Scala.Методы to_date & date_format использовались внутри класса, но мои операторы импорта были вне класса.Все, что мне нужно было сделать, это поместить операторы импорта в скобки класса, и все работало нормально.

case class HelperClass(){
import org.apache.spark.sql.functions._
import org.apache.spark.sql.types._

var fire_services_customDF = fire_servicesDF
var data=fire_servicesDF

def SetDatatypes() : Unit = {
    data=fire_services_customDF.withColumn("CallDateTmp",date_format(to_date(col("CallDate"), "MM/dd/yy"), "yyyy-MM-dd").cast("timestamp"))
}

def PrintSchema() : Unit= {
         data.printSchema
}

}

0 голосов
/ 07 октября 2018

Вам не нужно добавлять spark-sql, он уже есть в интерпретаторе spark.

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...