Занимает ли модель Новостей Google Word2Vec память каждый раз, когда вы ее запускаете?

Question

Это может показаться странным вопросом, но я новичок в этом вопросе, поэтому я все равно задам вопрос.

Я хочу использовать эту модель Google News для различных файлов на моем ноутбуке.Это означает, что я буду снова и снова запускать эту строку в разных записных книжках Jupyter:

model = word2vec.KeyedVectors.load_word2vec_format ("GoogleNews-vectors-positive300.bin", binary = True)

Есть ли это 1) Хранилище (я заметил, что мое хранилище заполняется экспоненциально без какой-либо причины) 2) Меньше памяти, чем было бы, если бы я закрыл предыдущий ноутбук перед запуском следующего.

Мое хранилище ушлона 50 ГБ за один день, и единственное, что я сделал на этом компьютере, - это запустил модель Новостей Google (я не делал most_simil ()).Перезапуск и закрытие записных книжек не помогли, и на ноутбуке нет больших файлов.Есть идеи?

Спасибо.

Answer 1

Простая загрузка модели обычно не использует больше дискового пространства.(Исключение: если для загрузки или использования требуется адресная память за пределами вашей ОЗУ, вы можете начать использовать виртуальную память, которая может отображаться как меньшее дисковое пространство в зависимости от вашей ОС. Но с этими типами моделей вы хотите избегать полагаться на любыеВиртуальная память, поскольку базовые most_similar() операции циклически проходят по всей модели, & будут очень медленными, если они будут каждый раз читать с диска.)

При загрузке модели будет использоваться память, затем больше при первом выполнении most_similar().(Для этого требуются нормализованные по единицам векторы, которые рассчитываются 1-й раз, а затем кэшируются.)

Но завершение работы ноутбука должно освободить эту память.(Обратите внимание, что закрытие вкладки может привести к некорректному завершению работы ноутбука Jupyter. Если ноутбук все еще работает на сервере ноутбука, даже если браузеры его не просматривают, он все равно будет использовать / удерживать память.)