ТЛ; др
Критерий оптимизации тот же, разница в том, как модель получает слово vector.
Использование формул
Fasttext оптимизирует тот же критерий, что и стандартная модель skipgram (используя формулу из FastText paper ):
со всеми приемами аппроксимации, которые делают оптимизацию вычислительной эффективностью. В итоге они получают это:
Существует сумма по всем словам w c и приблизительный знаменатель с использованием некоторых отрицательных выборок n . Принципиальное отличие заключается в функции s . В исходной модели скип-граммы это скалярное произведение двух словосочетаний.
Однако в случае FastText функция s переопределена:
Слово ш т представляется как сумма всех n-грамм z г слово состоит из плюс вектор для само слово. По сути, вы хотите сделать возможным не только слово, но и все его подстроки в данном контекстном окне.