Почему тест FastText модели возвращает только 1 пример, когда мой тестовый файл содержит 135 - PullRequest
0 голосов
/ 03 апреля 2019

Я пытаюсь проверить модель (model.bin), которую я сделал с fastText в тестовом файле (test.txt). В этом тестовом файле у меня есть 135 помеченных данных. Я ожидаю, что fastText протестирует мою модель на этом количестве примеров, но вместо этого он протестирует ее только на 1 примере. Откуда берется эта проблема?

Я уже пытался сделать это с другой моделью и другим тестовым файлом, и все работало хорошо.

так я тестирую свою модель. model_baby.bin - это модель, а test.data.txt - мой тестовый файл.

./fasttext test model_baby.bin test.data.txt 

N       1

P@1     1

R@1     0.0164

Number of examples: 1

А вот выдержка из моего тестового файла

__ label__4.0 Мне нравится тот факт, что вы можете скрывать свои вещи. Единственным недостатком является то, что ремни для удержания его в средней и нижней частях могут быть лучше разработаны для вашего автомобиля. В нем достаточно места, и это здорово. __label__5.0 Это чудесно спрятал наш ipad. Особенно для тех быстрых остановок, когда мы все выпрыгнули и воспользовались туалетом. Он застегнул молнию, сложил и держал все наши вещи для детей на заднем сиденье. __label__3.0

Поскольку в моем тестовом файле у меня есть более 1 маркированного примера, я ожидаю, что результат "Количество примеров:" будет по крайней мере больше 1, но фактический - "1"

1 Ответ

0 голосов
/ 04 апреля 2019

Из официальной документации (https://fasttext.cc/docs/en/supervised-tutorial.html): Каждая строка текстового файла содержит список меток, за которым следует соответствующий документ. Все метки начинаются с префикса __label__, то есть как fastText распознает, что такое метка или что такое слово.

Я не очень понимаю вашу выдержку. Я думаю, что это должно быть так:

__label__4.0 I love the fact you can hide your stuff. Only down is that the straps to hold it at midpoint and bottom could be better designed for your car. It's got plenty of room which is great. 
__label__5.0 This hid our ipad wonderfully. Especially for those quick stops where we all had jump out and use the restroom. It zipped, folded and held all our stuff for the kids in the back seat. 
__label__3.0 ...
...