Доверие признанного лица

Question

Мне нужно получить уверенность в отношении каждой извлеченной сущности (не для ее распечатки, а для ее получения), однако я не могу найти метод, который возвращает конфиденциальность.

Во-первых, я попытался использовать Stanford NamedБиблиотека Entity Recognizer на Java и это решение:

Отображение доверительной оценки Stanford NER

, но она не работает (я полагаю, метод getCliqueTree недоступен).Я также пытался использовать NLTK в Python и модели NER Стэнфорда для извлечения сущностей, но опять же не смог найти способ получить доверие.

Я знаю, как это сделать в Spacy:

https://github.com/explosion/spaCy/issues/831

но, как говорит автор, это неэффективно.

Итак, не могли бы вы посоветовать мне, как получить вероятности каждой извлеченной сущности?

Answer 1

Обычно NER - это задача классификации уровня токена.

Доверие обычно получается из каждого прогноза, который обычно является результатом некоторого типа softmax.

Тогда возникает вопрос, как я могу получить уверенность в последовательности доверительных отношений?

Есть несколько способов:

1. Энтропия [Доверие - это количество информации]
2. Среднее (среднее) [Доверие среднее]
3. Мин / Макс доверительных отношений [Доверие - это мин / макс]

Все они дают разные ответы, ни один из них не «лучше», и это действительно зависит от вашего варианта использования.

Если вы хотите заказать возможные типы сущностей, вы можете начать со следующего:

1. Получите уверенность, предполагая одинаковую метку для каждого токена
2. Получите энтропию для последовательности достоверности (вероятности)
3. Сортировать по энтропии