Стэнфордские инструменты НЛП и много текста - PullRequest
0 голосов
/ 01 июля 2011

В настоящее время я использую инструменты Stanford CoreNLP для извлечения триплетов из текста. Я имел дело с относительно небольшими частями текста, но мне нужно, чтобы он работал с большими. Также мне нужна эта работа на средней машине со средним объемом памяти. Любые предложения о том, как я могу уменьшить нагрузку на память? Возможно, разделить текст на более мелкие фрагменты (однако это может испортить основную информацию ...)?

Спасибо

1 Ответ

0 голосов
/ 02 июля 2011

Метод перебора: используйте память вне кучи (используя дисковое пространство в качестве памяти для Java-программы), посмотрите этот поток или , чтобы узнать больше о библиотеке BigMemory Медленно, но это может быть то, что вы ищете.

...