Признание НЛП

Question

Я новичок в НЛП. Я хочу использовать алгоритм распознавания именованных объектов для извлечения имен и местоположений из текста без использования каких-либо библиотек.

Пример:

American Airlines заявила, что начнет прямой рейс в Бангалор.

Ответ:

Entity: American Airlines
Location: Bengaluru

Что является лучшей практикой Named Entity? Это как хранить все имена и местоположения в файле CSV и сравнивать с предложением?

Answer 1

Вы можете реализовать распознавание именованных сущностей многими способами:

1. Можно рассматривать эту проблему как проблему классификации нескольких классов, где именованные сущности являются нашими метками, поэтому мы можем применять различные алгоритмы классификации. Проблема этого метода в том, что мы пропускаем контекст слова в предложении. Идентификация и маркировка слов требовали глубокого понимания слова в предложении.

2. Чтобы создать современное NER, нам нужно углубиться в подходы глубокого обучения. Как известно, контекст слова играет важную роль, учитывая, что текст представляет собой последовательный формат данных Long Short Term Memory (LSTM), играющий важную роль. Не любой тип LSTM даст лучший результат. Нам нужно использовать Двунаправленный LSTM, потому что стандартный LSTM делает прогнозы, используя прошлую информацию в последовательности текста. Что касается NER, поскольку контекст охватывает последовательные и будущие метки в последовательности, нам необходимо учитывать как прошлую, так и будущую информацию. A Двунаправленный LSTM представляет собой комбинацию двух LSTM - один бежит вперед от справа налево , а другой бежит назад от слева направо .