Значение namedRdds равно нулю: Spark Job Server - PullRequest
Новая
       12

Значение namedRdds равно нулю: Spark Job Server

0 голосов
/ 26 февраля 2019

Я пытаюсь создать общий RDD с помощью сервера заданий Spark, но получаю значение namedRDDs равно нулю! . Ниже приведены спецификации моего проекта

  1. spark-core_2.10- версия -> 1.5.2
  2. spark-sql_2.10 - версия -> 1.5.2
  3. job-server-api_2.10 - версия -> 0.6.1

ниже приведен мой фрагмент кода.

объект SparkJobServerSharedRDD расширяет SparkJob с помощью NamedRddSupport {

переопределить def runJob (sc: SparkContext, config: Config): Any = {

val df = \ df creation

namedRdds.update ("result", df.toJSON)}}

...