любой способ объединить модель языка 2 Ngram в 1?

Question

У меня сейчас есть две языковые модели нграмм (model_A и model_B).

• они обучаются на основе различных корпусов, поэтому словарный запас отличается
• онисглаженный с откатом, хранится в формате ARPA, поэтому у меня есть 2 ARPA файлов, ARPA_A и ARPA_B.

Теперь, если я хочу их интерполировать, то есть с учетом любой фразы ABC.

• model_C(ABC) = 0.5 * model_A(ABC) + 0.5 * model_B(ABC)

Как объединить ARPA_A и ARPA_B в один (ARPA_C)?

Answer 1

Да.Можно комбинировать две модели языка ngram.Учитывая, что вы используете Open FST Open Ngram.

ngrammerge --use_smoothing --normalize --alpha=3 --beta=2 earnest.aa.mod earnest.ab.mod >earnest.merged.mod