FastText квантовать документацию неправильно? - PullRequest
0 голосов
/ 20 сентября 2018

Я не могу запустить квантование FastText, как показано в документации.В частности, как показано в нижней части страницы шпаргалки:

https://fasttext.cc/docs/en/cheatsheet.html

Когда я пытаюсь запустить квантование на моей обученной модели "model.bin":

./fasttext quantize -output model

в оболочку выводится следующая ошибка:

Empty input or output path.

Я воспроизвел эту проблему со сборками из последнего кода (14 сентября 2018 года) и более старого кода (21 июня 2018 года).Поскольку документированный синтаксис команды не работает, я попытался добавить входной аргумент:

./fasttext quantize -input [file] -output model

, где [file] - это либо мои данные обучения, либо обученная модель.К сожалению, обе попытки привели к ошибке сегментации без сообщения об ошибке от FastText.

Каков правильный синтаксис команды для квантования модели FastText?Кроме того, возможно ли обучить и квантовать модель за один прогон FastText?

Ответы [ 3 ]

0 голосов
/ 21 марта 2019

Решение в Python:

# Quantize the model with retraining
model.quantize(input=train_data, qnorm=True, retrain=True, cutoff=200000)

# Save quantized model
model.save_model("model_quantized.bin")
0 голосов
/ 11 июля 2019

Я попробовал этот работал:

 ./fasttext quantize -input <training set> -output <model name (no suffix) -[options]
0 голосов
/ 21 марта 2019

Это пример, который включен в quantization-example.sh

./fasttext quantize -output "${RESULTDIR}/dbpedia" -input "${DATADIR}/dbpedia.train" -qnorm -retrain -epoch 1 -cuto$

...