Как обучить модель различать / классифицировать слова по предопределенным значениям?

Question

Семантический анализ в глубоком обучении и НЛП обычно касается значения целого предложения, такого как анализ настроений. Во многих случаях значение слова можно понять по структуре предложения. Например,

Можете ли вы сказать это по этому поводу?

Можете ли вы рассказать мне что-нибудь об этом?

Существует ли какой-либо установленный метод для обучения модели по набору данных

word    meaning_id       sentence
tell    1                Can you tell this from that?
tell    2                Can you tell me something about this?

Обратите внимание, что целью являетсяпросто для классификации слов по предопределенным значениям / примерам.

Я использую Stanford CoreNLP, но сомневаюсь, есть ли такая возможность. Любая программа глубокого обучения в порядке.

Answer 1

То, о чем я могу думать, это использование контекстных WordEmbeddings. Это вложения для слова с учетом его контекста. Это означает, что в зависимости от контекста слово имеет другое вложение. BERT генерирует такие контекстуальные вложения. Можно предположить, что эти вложения существенно различаются для разных значений, но довольно похожи для одного и того же значения слова. Что бы вы сделали:

1. запустите BERT с предложениями, содержащими ваше слово "tell"
2. , извлеките вложения для слова "tell" из последнего слоя BERT
3. попытаться объединить конкретные вложения в различные значения. Если у вас уже есть предопределенные значения и некоторые примеры предложений, вы даже можете попробовать обучить классификатор.

Здесь - это запись в блоге, показывающая выполнимость такого подхода.