AWS Клей - пользователь не инициализировал контекст искры - PullRequest
Новая
       53

AWS Клей - пользователь не инициализировал контекст искры

0 голосов
/ 27 марта 2020

Я работаю в AWS glue.i читаю таблицу метастазов улья из AWS Каталог клеев от spark scala Работа в AWS клей с моим собственным искровым кодом, обратите внимание, я пишу свой собственный код нашей потребности. Код работает, как и ожидалось, он читает исходную таблицу и загружает ее в целевую таблицу, но все равно работа каждый раз приводит к ошибке.

Вот моя свеча 

val spark = SparkSession.builder().appName("SPARK-Dev")
                            .master("local[*]")
                            .enableHiveSupport()
                            .getOrCreate

Job выдает эту ошибку 

 2020-03-27 17:07:53,282 ERROR [main] yarn.ApplicationMaster (Logging.scala:logError(91)) - Uncaught exception: 
java.lang.IllegalStateException: User did not initialize spark context!
    at org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:485)
    at org.apache.spark.deploy.yarn.ApplicationMaster.org$apache$spark$deploy$yarn$ApplicationMaster$$runImpl(ApplicationMaster.scala:305)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$1.apply$mcV$sp(ApplicationMaster.scala:245)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$1.apply(ApplicationMaster.scala:245)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anonfun$run$1.apply(ApplicationMaster.scala:245)
    at org.apache.spark.deploy.yarn.ApplicationMaster$$anon$3.run(ApplicationMaster.scala:779)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1844)
    at org.apache.spark.deploy.yarn.ApplicationMaster.doAsUser(ApplicationMaster.scala:778)
    at org.apache.spark.deploy.yarn.ApplicationMaster.run(ApplicationMaster.scala:244)
    at org.apache.spark.deploy.yarn.ApplicationMaster$.main(ApplicationMaster.scala:803)
    at org.apache.spark.deploy.yarn.ApplicationMaster.main(ApplicationMaster.scala)
...