Я получаю 'Task not serializable', когда пытаюсь запустить пример John Snow spark-nlp в Scala

Question

Я пытался запустить пример John Snow Spark-NLP из этого репозитория:

https://github.com/JohnSnowLabs/spark-nlp/blob/master/example/src/TrainViveknSentiment.scala

на моей локальной машине. Но он выдает ошибку org.apache.spark.SparkException: Task not serializable, когда он приходит в стек val sparkPipeline = pipeline.fit(training), он также говорит Caused by: java.io.NotSerializableException: com.johnsnowlabs.nlp.annotators.param.AnnotatorParam$SerializableFormat$

Answer 1

Возможно, я ошибаюсь, но, насколько я могу судить, Seq, вероятно, является несериализуемой чертой.Поэтому использование Array или List вместо этого для построения неизменяемой переменной training должно решить проблему.