Я пытаюсь загрузить одну из предварительно обученных моделей FastText, имеющую форму файла .bin. Размер файла .bin составляет 2,8 ГБ, у меня 8 ГБ ОЗУ и 8 ГБ подкачки. К сожалению, модель начинает загружаться и занимает почти 15 ГБ, а затем выходит из строя со следующей ошибкой:
Process finished with exit code 137 (interrupted by signal 9: SIGKILL)
Наблюдая за системным монитором, я вижу, что оперативная память и раздел подкачки полностьюзанят, поэтому я думаю, что он ломается, потому что ему не хватает памяти.
Я пытаюсь загрузить файл, используя оболочку Gensim для FastText
from gensim.models.wrappers import FastText
model = FastText.load_fasttext_format('../model/java_ftskip_dim100_ws5')
Мои вопросы следующие:
1) Можно ли как-то уместить эту модель в текущую память моей системы?
2) Можно ли уменьшить размер этой модели? Я попытался квантовать, используя следующий код
./fasttext quantize -output java_ftskip_dim100_ws5 -input unused_argument.txt
И я получаю следующую ошибку:
terminate called after throwing an instance of 'std::invalid_argument'
what(): For now we only support quantization of supervised models
Aborted (core dumped)
Я бы действительноценим вашу помощь!