как извлечь сущность с помощью RASA NLU, которые не являются смежными словами

Question

https://github.com/RasaHQ/rasa_nlu/issues/1468#issue-370187480

Версия Rasa NLU : 0.13.6

Операционная система (windows, osx, ...): windows

Содержимое файла конфигурации модели : yml

language: "en"

pipeline:
- name: tokenizer_whitespace
- name: intent_entity_featurizer_regex
- name: ner_crf
- name: ner_synonyms
- name: intent_featurizer_count_vectors
- name: intent_classifier_tensorflow_embedding
  intent_tokenization_flag: true
  intent_split_symbol: "+"
path: ./models/nlu
data: ./data/training_nlu.json

Ошибка :

как извлечь сущность.которые не являются смежными словами.ниже приведен пример:

мне нужно обучить мой NLU понимать публичные жалобы, такие как УЛИЦА ВЫКЛЮЧЕНА, УГОЛ НА УЛИЦЕ, УЛИЦА ОСВЕЩАЕТСЯ В ДНИ ДНЯ

Моя ценность объекта - УЛИЦА СВЕТА, чтоозначает, что человек хочет сообщить, что уличный фонарь не работает.он / она сделает это в следующем формате.

Уличный фонарь рядом с клиникой доктора Васанта Шетти, WH Hanumanthappa Layout, Ulsoor Road, Bangalore 42 был сплавлен с недели.

Уличный фонарь сам по себе не является сущностью, или слитый один не является моей сущностью.уличный фонарь - это синоним.Возможно ли приучить НЛУ извлекать уличный свет, слитый с этим предложением.если да, то как.

, если нет, единственное решение - разделить уличный свет и объединить его в разные объекты?но может быть возможно извлечь уличный фонарь, слитый с из вышеприведенного предложения, потому что он может извлекать сущности, которые в нескольких словах и tokenizer_whitespace просто разбиваются на пустое пространство.

Пожалуйста, предложите, есть ли лучший способ получить мою сущность без разделения на несколько сущностей.

здесь у меня есть еще один пример по той же проблеме:

Пример 1:

Мусор не вывозится за последние 10 дней, требуется немедленное внимание для очистки.

здесь я могу выбрать Мусор не собран это проблема.я могу обучить свой NLU извлекать эту именованную сущность с помощью ner_crf с приведенным ниже обучающим фрагментом { "text": "Garbage not picked from past 10 days,need immediate attention for clearance", "intent": "inform_grevience", "entities": [ { "start": 20, "end": 38, "value": "Garbage not picked", "entity": "issue" } ] }

Пример 2:

A Мусор мусорное ведро рядом10-й основной номер не выбран за последние 10 дней, требуется немедленное действие

другой гражданин сообщает о той же проблеме, но в другом предложении.

могу ли я извлечь мусор, не выбранный из примера 2а также с помощью ner_crf?

Answer 1

Я собираюсь предложить два альтернативных подхода, оба полагаясь на намерения.Я полагаю, что единственная сущность в вашем высказывании - это адрес.

Таким образом, вы можете обучить каждый из ваших примеров совершенно разным намерениям (исключая сущности для простоты):

## intent:streetLightOut
- The Street light adjacent to Dr Vasanth Shetty's Clinic , WH Hanumanthappa     Layout, Ulsoor Road, Bangalore 42 is out.
- I'd like to report a street light that is burnt out
- street light out

## intent:streetLightAlwaysOn
- The Street light adjacent to Dr Vasanth Shetty's Clinic , WH Hanumanthappa     Layout, Ulsoor Road, Bangalore 42 is always on.
- I'd like to report a street light that never turns off
- street light on constantly

## intent:potholeInStreet
- There's a pothole at the intersection of 10th and main
- pothole
- pothole on 11th street near Wal-Mart

В качестве альтернативы, поскольку вы используете тензорный поток, вы можете использовать heirarcachal намерения:

## intent:streetLight+out
- The Street light adjacent to Dr Vasanth Shetty's Clinic , WH Hanumanthappa Layout, Ulsoor Road, Bangalore 42 is out.
- I'd like to report a street light that is burnt out
- street light out

## intent:streetLight+alwaysOn
- The Street light adjacent to Dr Vasanth Shetty's Clinic , WH Hanumanthappa     Layout, Ulsoor Road, Bangalore 42 is always on.
- I'd like to report a street light that never turns off
- street light on constantly

## intent:potHole
- There's a pothole at the intersection of 10th and main
- pothole
- pothole on 11th street near Wal-Mart

Моя основная причина для предложения этих подходов заключается в том, что сущности в расе очень позиционированы, и слово не имеет большого значения (и не включает в себя векторы слов).Поскольку все проблемы с уличным освещением, вероятно, включают эти слова или подобные слова, кажется, что само слово имеет наибольшее значение.

Этот пост в блоге содержит некоторую информацию о намерениях TensforFlow и иерархии: https://medium.com/rasa-blog/supervised-word-vectors-from-scratch-in-rasa-nlu-6daf794efcd8