Как исправить орфографические ошибки в приложении LUIS.AI из пользовательских высказываний?Используйте API проверки правописания Bing или помечайте слова с ошибками в намерениях

Question

В этой статье содержится предостережение относительно использования API-интерфейса Bing для проверки орфографии для удаления всех ваших пользовательских высказываний в канал бота.

Ссылка на статью здесь

Точка, в которой сущность может распутаться, когда проверка орфографии включена?Так что, если у вас есть непонятная сущность в стиле слова starblazingIT, это может быть реконструировано, чтобы превзойти звёздную ИТ.Таким образом причиняя вред сущности.

С учетом сказанного, статья была написана в 2016 году, так что, возможно, эта проблема была решена, но я не могу найти какую-либо документацию по ней.

Документация, которую я нашел, дала возможность игнорировать орфографические ошибки и просто пометить высказывания, и LUIS выучил бы правильное написание, а также опечатки ... Это загруженное утверждение.Что это значит точно, и действительно ли Луис изучает правильное написание или просто добавляет в него неправильное написание как альтернативный ответ?

Потому что, если это так, то нужно будет постоянно наблюдать за ошибочными высказываниями и добавлять вариации.Или сверхурочное обучение Луиса узнает, что конкретное слово может иметь вариации и быть написано с ошибками, и добавить это в правильную модель намерений высказываний?

Вот ссылка на статью и цитата ниже:

Игнорировать орфографические ошибки, если вы не хотите использовать службу Bing Spell Check API v7Вы можете пометить высказывания, которые имеют орфографические ошибки, чтобы LUIS мог выучить как правильное написание, так и опечатки.Эта опция требует больше усилий для маркировки, чем при использовании средства проверки орфографии.

В целом, какова лучшая практика исправления ошибок в словах для вашего приложения luis chatbot?

Answer 1

Здесь нет правильного ответа, но вы должны сделать одно или другое.LUIS плохо справляется с опечатками без обучения.Например, «Я хочу посмотреть свой заказ» получает уверенность в 99,7% в отношении моего намерения viewOrder, а «Я хочу посмотреть мой заказ» - только 36,4%, что ниже моего порога для распознавания намерений.Проверка орфографии ловит и исправляет это.Вы можете иметь почти бесконечные варианты опечаток во всех смыслах.Поэтому, несмотря на то, что маркировать новые высказывания не так сложно (и вы все равно должны это сделать, чтобы улучшить свою модель), это будет постоянное усилие.

Я провел некоторое тестирование только сейчас, и проверка орфографии выглядит так:более терпимы к гибридным приложениям, отраслевым терминам и названиям программного обеспечения.Например, он больше не разделяет SmartIT, как упоминалось в статье, на которую вы ссылались.Но я бы определенно рекомендовал проверить с вашими именами сущностей и убедиться, что он не «исправит» слова, которые вы не хотите исправлять.

Я предлагаю использовать Bing и, если необходимо, изменить идентификацию вашей сущности (вПример статьи, можно было просто признать SmartIT и Smart IT как объекты).