Как аннотировать текстовый файл, используя sparknlp? - PullRequest
Новая
       24

Как аннотировать текстовый файл, используя sparknlp?

1 голос
/ 12 февраля 2020

Я использую Sparknlp, чтобы аннотировать длинный текстовый файл в блоке данных. Мой код выглядит так: 

    import com.johnsnowlabs.nlp.base._
    import com.johnsnowlabs.nlp.annotator._
    val lines = sc.textFile("/FileStore/tables/48320_0-3f0d3.txt")
    import com.johnsnowlabs.nlp.pretrained.PretrainedPipeline
    val result = PretrainedPipeline("explain_document_ml").annotate(lines)

Но я получил такую ​​ошибку: 

command-2722311848879511:1: error: overloaded method value annotate with alternatives:
  (target: Array[String])Array[Map[String,Seq[String]]] <and>
  (target: String)Map[String,Seq[String]]
 cannot be applied to (org.apache.spark.rdd.RDD[String])
val result = PretrainedPipeline("explain_document_ml").annotate(lines)

Поскольку аннотирование может принимать строку или массив в качестве параметров, почему я могу использовать текстовые файлы как параметр? Как мне изменить мой код? Спасибо!

...