Можно ли получить доступ к Spark-Context на локальном рабочем столе, пока Spark Job работает в AWS EMR - PullRequest
Новая
       18

Можно ли получить доступ к Spark-Context на локальном рабочем столе, пока Spark Job работает в AWS EMR

0 голосов
/ 31 марта 2020

У меня есть следующий простой тривиальный код в eclipse, который выполняется на моем локальном настольном компьютере: 

param={}
param['Name'] = 'spark job'
param['ActionOnFailure'] = 'CONTINUE'
param['HadoopJarStep'] = {'Jar':'command-runner.jar', 'Args':'/usr/bin/spark-submit', '--deploy-mode', 'client', '--class', 'com.test.Main.scala', 's3://bucket1/folder1/spark_job.jar'}

response = getEMRClient().add_job_flow_steps(JobFlowId=cluster_id, Steps=[param])

Это искровое задание отправляется и запускается в AWS EMR, но в то же время мне нужно получить доступ к контексту искры за пределами EMR на моем локальном настольном компьютере, чтобы я мог определить некоторые операции в этом контексте и выполнить их в EMR.

возможно ли это? Я знаю, что это странное требование, но все же, есть ли способ достичь этого?

Заранее спасибо!

...