Модель Seq2Seq - Чатбот

Question

Я создаю чат-бота, используя seq2seq. Обычно мы удаляем все знаки препинания и стоп-слова при обработке текстовых данных и передаем их в Model.

То есть мои вопросы не повлияют на читабельность Output? Например - пользователь вводит некоторый вопрос в окне Chatbot и нажимает ввод, чтобы получить ответ. Теперь, если пользователь получит ответ без знаков препинания и стоп-слов, это повлияет на читабельность?

Answer 1

из курс ухудшает читабельность. Многие из этих слов и все знаки препинания существуют для того, чтобы направить читателя к предполагаемому анализу предложения. Другими словами:

course degrades readability many words
punctuation guide reader intended parsing 
sentence put another way

Существует много примеров фраз, предложений и абзацев, которые требуют пунктуации, чтобы устранить неоднозначность предполагаемого значения.

Удаление "синтаксического сахара" - это только для содействия использованию определенных (большинства) методов для быстрого определения вероятной релевантности для аналогично обработанного документа. Ваш дизайн бота должен отделить этот процесс от пользовательского интерфейса. Все, что вы возвращаете пользователю, должно быть на человеческом языке, а не на внутреннем слове, который вы используете для поиска информации.

Answer 2

Это действительно зависит от того, какой тип Chatbot вы хотите создать. Обычно у нас есть два типа ChatBots :

• На основе поиска : Вы тренируете свою модель с большим количеством пар. На этапе вывода ваша модель находит наиболее похожий элемент в примере обучения и возвращает его пользователю. В этом случае мы находим наиболее похожий пункт между вопросом пользователя и нашими вопросами. Затем вернитесь к наиболее похожему вопросу ответа пользователю. Так что, если мы сделаем предварительную обработку, на вопрос это не повлияет на читаемость или другие вещи.

• Основанный на поколении : В основанном на поколении чат-боте (таком как seq2seq, который вы упомянули), ответ чат-бота полностью зависит от того, что вы вводите для обучения. Если вы удалите знаки препинания или стоп-слова, да, это повлияет на ваш ответ, и вы не увидите их в своем ответе Chatbot .