Какова роль парсера (POS, TAG, Dependecency) в машинном переводе?

Question

Я хотел бы знать, какова основная цель разбора предложения, например, мы получаем все POS-теги предложения в обучении машинному переводу?Я подумал, что нам просто нужно токенизировать предложение, а затем подать его в нейронную сеть для обучения?Какова цель наличия POS-тега и как его можно внедрить в код для обучения модели машинному переводу?

Кажется, я не могу найти никаких примеров.Пожалуйста, помогите

Answer 1

Если у вас есть только токенизированное слово, разбитое на предложение, вы получаете только словарь по слову.

Например, у вас есть два предложения: [Я люблю кофе], [Я люблю молоко].

Словарь может быть [I], [любовь], [кофе], [как], [молоко], называемый мешок слова состоял из 5 измерений.

Представьте, что вы делаете свой язык только всловарь по сумме слов.Сколько измерений вам нужно для вашего языка?

Это будет слишком большое измерение.

В этом случае, если вы создадите модель языка с POS-тегом, вы можете уменьшить размерность.

рис 1. Вам нужно 9 измерений для представления 9 слов.

pic2.вам нужно только [3,2] -размер для представления 9 слов.