fasttext продолжает предсказывать одну метку - PullRequest
Новая
       45

fasttext продолжает предсказывать одну метку

0 голосов
/ 21 января 2019

я пытаюсь использовать fasttext для обозначения некоторых данных [url] или [PN] только для проверки после обучения на 6k каждого ярлыка и после предсказания он продолжает предсказывать [PN]

учебная команда 

fasttext supervised -input input.txt -output model -minn 0 -maxn 0 -epoch 100 -lr 0.1

образец обучающих данных 

__label__PN 5962-8904XA
__label__PN 585DD4P54ZP
__label__PN GQ0B11400FCT
__label__URL http://ws.com/qd/lat/ispls32883.pdf
__label__URL http://ws.com/pdfs//2004/0423/ds/m412b.pdf
__label__URL http://ws.com/pdfs//2004/0423/mc68.pdf

образец данных испытаний 

945
74ACT399MTC
http://www.msn.com/mylink.pdf
MQ8797BH
74AC1153
ICL762PA+
54LS3482A
54LS76A/B
54HC27/A
www.google.com

1 Ответ

0 голосов
/ 21 марта 2019

FastText он основан на WordNGrams , это означает, что вам нужно быть полным предложением в качестве входных данных для алгоритма.

В вашем примере вы передаете только униграмму для алгоритма, и в зависимости от количества WordNGrams, которое вы используете в параметрах, которые вы моделируете, не в состоянии выучить.

ELI5 : Алгоритм говорит: я могу выучить сложные предложения, потому что структура слов и их комбинация, но вы посылаете мне только слова. Я не могу справиться с этим.

...