Искра - Не удается проверить на S3 - PullRequest
Новая
       29

Искра - Не удается проверить на S3

0 голосов
/ 30 апреля 2020

Я пытаюсь сохранить контрольные точки моей модели LDA во время обучения S3 следующим образом: 

spark.sparkContext.setCheckpointDir("s3://path")

val lda = new LDA()
  .setFeaturesCol("features")
  .setK(num_topics)
  .setSubsamplingRate(sample_rate)
  .setMaxIter(n_iters)
  .setOptimizer("online")
  .setCheckpointInterval(200)

Я знаю, что он может получить доступ к пути S3, потому что он сохраняет (пустую) начальную контрольную точку в самом начале обучения, но больше никогда после этого. Я также попытался уменьшить параметр setCheckpointInterval, чтобы посмотреть, может ли это занять слишком много времени, но, похоже, это тоже не так.

Как правильно проверять модели контрольных точек во время тренировок в Spark?

...