SpaCy Несколько текстовых категорий в одном конвейере - PullRequest
0 голосов
/ 19 февраля 2019

Я работаю с SpaCy, и я хочу знать, есть ли способ включить несколько текстовых классификаторов в один конвейер и сохранить раздельные прогнозы.Мне уже удалось обучить два классификатора по отдельности, но я не могу понять, есть ли способ объединить оба классификатора в один конвейер.Моя текущая реализация выглядит следующим образом:

nlp.add_pipe(text_categorizer_1, last=True)
text_categorizer_1.add_label("MyLabelforCategorizer1")

nlp.add_pipe(text_categorizer_2, name="textcat2",last=True)
text_categorizer_2.add_label("MyLabelforCategorizer2")

# Train and validation code here

doc = nlp("My sample text")
print(doc.cats)
# doc.cats will contain an object with the categories and its  associated probabilities
# but this object mix the result of both classifiers
# {"MyLabelforCategorizer1":0.1, "MyLabelforCategorizer2":0.9}

Я хочу знать, поддерживается ли добавление двух классификаторов в один конвейер?Может ли это оказать негативное влияние на базовую модель (нейронная сеть CNN от SpaCy)?Если нет влияния, как я могу получить результаты от каждого классификатора?достаточно взять максимальное значение для каждого набора меток?.

...