Я строю модель языка ngram, используя kenlm и berkeleylm, но они дают токену очень различную вероятность.
kenlm дает:
ngram 1=164482
ngram 2=4355352
ngram 3=15629476
\1-grams:
-6.701107 <unk> 0
0 <s> -1.9270477
-1.8337007 </s> 0
, а berkeleylm дает:
\data\
ngram 1=164481
ngram 2=4291478
ngram 3=15629476
\1-grams:
-99.000000 <s> -2.079426
-1.833699 </s>
and no <unk> token probability
Я хочу знать, почему они обрабатывают их по-разному и как эти различия могут привести к разным результатам?