scala / spark скрипт из CLI

Question

Я запускаю scala_script.scala из unix cli и получаю ошибку: enycription key missing, в то время как тот же самый scala-код отлично работает в spark-shell.

Код используется для доступа к таблице кустов, загрузки ее в информационный кадр, обработки некоторых преобразований и затем снова: write.mode("append/overwrite").saveAsTable("my_db.my_table"). Код:

import org.apache.spark.sql.hive.HiveContext;
val hc = new org.apache.spark.sql.hive.HiveContext(sc)
val tb_applicant_details=hc.sql("SELECT * FROM staging_mps_25.applicant_details")
tb_applicant_details.write.mode("overwrite").insertInto("spark_tests.new_test_person")

Answer 1

Хорошим подходом является использование spark-shell's: load "path_to_script". другое - дать правильные драйверы --driver и установить --master yarn в команде spark-shell -i для запуска скрипта. Подобно, spark-shell -i - мастер пряжи --driver "com.correct.driver" завершено / абсолютное / путь / к / script.scala