Stanford CoreNLP Server: сокращение объема используемой памяти

Question

Я выполняю доступ к серверу CoreNLP из скрипта Python, запущенного в Jupyter Lab.Я использую полный набор аннотаторов для извлечения цитат из газетных статей.

request_params={'annotators': "tokenize,ssplit,pos,lemma,ner,depparse,coref,quote",...

В отличие от рекомендуемых 2 ГБ, я выделил 4 ГБ, но аннотатор цитат не загружается.Диспетчер задач Windows показывает использование памяти на уровне> 94% в течение длительного времени.

Где я могу получить список опций, которые я могу настроить, чтобы улучшить использование памяти?

Answer 1

Основные модели, вероятно, являются основным виновником. Если вас не интересуют атрибуты котировок, вы можете установить -quote.attributeQuotes false и не использовать coref, но вы потеряете атрибуты цитат.

Я не уверен в точной сумме, но я думаю, что вы должны быть в порядке в диапазоне от 6 до 8 ГБ для запуска всего конвейера, представленного в вашем вопросе. Используемые модели занимают много памяти. Я не думаю, что параметры, которые вы установили в своем комментарии («useSUTime», «applyNumericClassifiers»), будут влиять на объем памяти.