Как извлечь предложения, которые имеют аналогичное значение / намерение по сравнению с примером списка предложений - PullRequest
Новая
       115

Как извлечь предложения, которые имеют аналогичное значение / намерение по сравнению с примером списка предложений

1 голос
/ 27 апреля 2020

У меня есть чат-взаимодействие [Utrarances] между Клиентом и Консультантом, и я хотел бы знать, содержит ли взаимодействие консультанта конкретные предложения или похожие предложения в приведенном ниже списке:

Примеры предложений, которые я ищу во взаимодействиях Консультанта 

["I would be more than happy to help you with this",
"I would be happy to look over the account to see how I can help get this sorted out for you",
"I’d be more than happy to look into this for you!",
"Oh, I see, let me assist you with this concern.",
"I am more than happy to do everything I can to resolve this matter for you.",
"I would be happy to look over the account to see how I can help get this sorted out for you.",
"I am happy to have a look."]


I have a dataset which contains the list of interaction_id and Utterances(Sample below)

```Example Chat interaction between Advisor and CLient : 
Client : Hello I would like to place an order for replacement battery
Agent: Hi Welcome to Battery service department. I would be happy to help you with your battery replacement Order.

Как получить / извлечь предложения с похожим намерением или значением. Я новичок ie для НЛП, и я считаю, что у меня есть проблема классификации предложений / извлечения, и я хотел бы знать, есть ли способ, которым я могу достичь того, что мне нужно

В основном я пытаюсь достичь ниже : 

ID    Utt                                               Help_Stmt_Present

IRJST   Hi Welcome to Battery service department. 
        I would be happy to help you with your battery
        replacement Order.                                     Yes

1 Ответ

0 голосов
/ 27 апреля 2020

Может быть несколько способов сделать это за несколько шагов:
1. Расчет векторов предложений

a. Использование предварительно обученных вложений слов (glove, word2ve c, fasttext и др. c) и вычисление вложений слов для каждого слова, а затем усреднение его по словам в предложении для вычисления вложения предложения.

б. Используйте Универсальный кодер предложения , чтобы получить вложения предложения.

2. Рассчитать совпадение сходства

a. Рассчитайте расстояние между целью и всеми другими N предложениями, используя евклидово или косинусное выражение или любое другое расстояние, метри c, которое лучше всего подходит для вашей задачи.

б. Обучите модель KNN с N имеющимися векторами предложений и примените прогноз K-NN с целевым предложением, чтобы получить K наиболее похожих предложений.

Чтобы получить еще лучшие результаты, вы можете использовать методы глубокого обучения и архитектуры SOTA, такие как преобразователи и архитектуры, построенные на нем. Вы можете проверить этот репозиторий , который решает вашу задачу с использованием трансформаторов. Также, чтобы поиграть с различными архитектурами и другими задачами НЛП, вы можете обратиться к Hugging Face Repository

...