Как загрузить предварительно обученную модель spark-nlp с диска

Question

Со страницы spark-nlp GitGub Я скачал файл .zip, содержащий предварительно обученную NerCRFModel. Почтовый индекс содержит три папки: вложения, поля и метаданные.

Как мне загрузить это в Scala NerCrfModel, чтобы я мог его использовать? Должен ли я поместить его в HDFS или на хост, на котором я запускаю Spark Shell? Как мне ссылаться на это?

Answer 1

вам просто нужно указать путь, в котором находятся упомянутые вами папки,

import com.johnsnowlabs.nlp.annotators.ner.crf.NerCrfModel
val path = "path/to/unziped/file/folder"
val model = NerCrfModel.read.load(path)
// use your model
model.setInputCols(someCol)
model.transform(yourData) // which contains 'someCol',

Насколько я помню, вы можете поместить папку в локальную или распределенную ФС, надеюсь, это поможет и другим пользователям! *

лучше, Альберто.