Как использовать модель хинди в RASA NLU? - PullRequest
Новая
       36

Как использовать модель хинди в RASA NLU?

0 голосов
/ 01 октября 2018

Я построил свою модель для языка хинди, используя FastText с просторным бэкэндом.Я следовал этому руководству, чтобы построить свою модель с использованием FastText.

Этот URL

Я также связал свою модель с spacy с помощью следующей команды 

python -m spacy link nl_model hi

Модель успешно связана, вы можете проверить на изображении ниже enter image description here

Теперь я не нахожу никакой помощи для использования языка хинди, например, какие файлы конфигурации мне нужныиспользовать, куда импортировать хинди модель и как действовать сейчас?У меня также есть вопрос, например, как выглядит наш файл data.json для хинди и как мы будем использовать сущности и намерения, названия сущностей и намерений также должны быть на хинди или на английском?Может ли кто-нибудь помочь в дальнейшей обработке?Я застрял здесь.Мне нужно построить чат-бот на хинди, используя только стек RASA.

Заранее спасибо ....

1 Ответ

0 голосов
/ 15 октября 2018

Похоже, что вы успешно выучили hi модель с помощью spaCy.Следующим шагом является написание файла конфигурации, например: 

language: "hi"

pipeline:
- name: "tokenizer_whitespace"
- name: "ner_crf"
- name: "ner_synonyms"
- name: "intent_featurizer_count_vectors"
- name: "intent_classifier_tensorflow_embedding"

Если ваша hi модель, которую вы только что узнали, также имеет токенизатор, вы можете заменить tokenizer_whitespace на tokenizer_spacy.

Я должен упомянуть, что новому целевому классификатору rasa, основанному на тензорном потоке, не нужны векторные слова вашей hi модели, он извлекает вордервекторы с нуля, см. здесь .Для извлечения сущности вам также не нужна модель hi, просто токенизатор сделает все за вас!Таким образом, в целом вы можете иметь своего бота даже без hi модели!

Файл обучающих данных должен быть json или markdown, как полностью объяснено в doc .Я думаю, что ваши намерения и сущности должны быть на английском языке, но ясно, что примеры запросов могут быть на любом языке utf-8, например хинди.

Затем вы можете изучить свою модель, используя различные методы, которые объяснены вдок.например: 

python3 -m rasa_nlu.train \
    --config YOUR_CONFIG_FILE.yml \
    --data YOUR_TRAIN_DATA.json \
    --path PATH_TO_SAVE_MODEL

Хороший быстрый старт можно найти в doc .

...