У меня возникают проблемы при запуске кода в RStudio через Spark. «Ошибка: java.lang.IllegalStateException: не удается вызвать методы для остановленного SparkContext». - PullRequest
Новая
       55

У меня возникают проблемы при запуске кода в RStudio через Spark. «Ошибка: java.lang.IllegalStateException: не удается вызвать методы для остановленного SparkContext».

0 голосов
/ 13 июня 2018

Понятия не имею, почему я получаю эту ошибку.Я погуглил, но ничего не нашел .. Мой код немного длинен .... 

Sys.time()
mydata<-spark_read_csv(spark_cluster,name = "rd_1",columns = columns,path = 
"MAF_MAY2017_APR2018.csv",header = F,delimiter = ",")
Sys.time()


KM1<-select(GH,device_subscriber_id,location_id,reapeated_user,NO_OF_VISITS,cumulative_visit_duration:saturday,Week_1:Week_5)
KM1<-distinct(KM1)

sdf_nrow(KM1)

set.seed(765675)
kmeans_model <- KM1 %>%
ml_kmeans(centers = 2,formula= ~reapeated_user+NO_OF_VISITS+cumulative_visit_duration+cumulative_average+NO_OF_DAYS_RECORDED+sunday+monday+tuesday+wednesday+thursday+friday+saturday+Week_1+Week_2+Week_3+Week_4+Week_5)

kmeans_model$summary

d3<-d3%>%
group_by(location_id)%>%
mutate(total_visits=n())%>%
group_by(location_id,first_seen_time)%>%
mutate(total_visits_prct=n()/total_visits)

d3<-select(d3,location_id,first_seen_time,total_visits_prct)
d3<-distinct(d3)

first_time_seen_d3 <-collect (d3) Ошибка: java.lang.IllegalStateException: Невозможно вызвать методы дляостановленный SparkContext.Остановленный SparkContext был создан по адресу: </p>

1 Ответ

0 голосов
/ 13 июня 2018

Вам нужно инициализировать искру перед выполнением любой операции искры.

Что-то подобное в Scala 

val sparkSession = SparkSession.builder
  .enableHiveSupport()
  .getOrCreate()
val sc = sparkSession.sparkContext
val sqlContext = sparkSession.sqlContext

Подобные вещи можно найти и в python.

Кроме того, после завершения работы вы должны сделать sparkSession.stop()

. Если вы работаете на оболочке искры, вам необходимо перезапустить оболочку искры или создать аналогичную процедуру, описанную выше,

.то же самое в R, пожалуйста, следуйте вики

...