Существует множество технологий ML / NLP под прикрытием Watson Assistant.Так что это не просто один алгоритм.Знание их не поможет вам улучшить ваши результаты.
Я хочу улучшить результаты работы помощника Ватсона от ibm.
Существует несколько способов.
Репрезентативные вопросы.
Сосредоточьтесь на получении истинных репрезентативных вопросов от конечных пользователей.Не только на языке, который они используют, но, по возможности, с того же носителя, на котором вы планируете использовать WA (например, мобильное устройство, Интернет, аудио).
Это первый фактор, который снижает точность.Производство намерения может означать, что вы создаете намерение, о котором клиент может никогда не спросить (даже если вы думаете, что он это делает).Во-вторых, вы будете использовать язык / термины с похожими шаблонами.Это мешает WA тренироваться.
Всего вопросов для обучения
Можно тренировать намерение одним вопросом, но для достижения наилучших результатов 10-20 примеров вопросов.Там, где намерения близки друг к другу, нужно больше примеров.
Тестирование
Текущий процесс заключается в создании так называемой проверки K-Fold Cross ( образец сценария ).Если ваши вопросы являются репрезентативными, то результаты должны дать вам точный показатель того, насколько хорошо он работает.
Тем не менее, можно переобучить тренировку.Таким образом, вы должны использовать слепой набор.Это 10-20% всех вопросов (случайная выборка).Они никогда не должны использоваться для обучения WA.Затем запустите их против системы.Обе ваши Blind + K-Fold должны находиться в пределах 5% друг от друга.
Вы можете посмотреть на результаты K-Fold, чтобы исправить проблемы, но слепой сет вам не следует.Жалюзи также могут устареть.Поэтому постарайтесь создать новый слепой сет после 2-3 тренировочных циклов.
Тестирование конечного пользователя.
Независимо от того, насколько хорошо ваша система обучена, я могу гарантировать вам, что новые вещи будут появляться перед конечными пользователями.Поэтому вы должны запланировать тестирование пользователей, прежде чем запускать его в производство.
Получая тестирование от пользователей, убедитесь, что они понимают общие области, в которых он обучался.Вы можете сделать это с пользовательскими историями, но старайтесь не заставлять пользователя задавать узкоспециализированный вопрос.
Пример:
- «Ваш телефон не работает, и вам нужно починить его» - Хорошо.Они будут задавать вопросы, которые вы никогда не видели раньше.
- "Wi-Fi на вашем телефоне не работает. Спросите, как бы вы это исправить".- Плохой.Очень узкий кругозор, и люди будут упоминать «Wi-Fi», даже если они не знают, что это значит.