Любая скрытая семантическая индексация?

Question

Есть ли в Java реализация с открытым исходным кодом LSI ? Я хочу использовать эту библиотеку для моего проекта. Я видел jLSI, но он реализует другую модель LSI. Я хочу стандартную модель.

Answer 1

Рассматривали ли вы LDA (скрытое распределение Дирихле)? Я тоже не очень, но я недавно столкнулся с той же проблемой с LSI (патенты). Из того, что я понимаю, LDA является связанной / более мощной техникой. http://en.wikipedia.org/wiki/Latent_Dirichlet_allocation очевидно имеет некоторые ссылки на реализации с открытым исходным кодом.

Answer 2

поиск в Google для инструментов НЛП предоставляет слайды , которые, как мне кажется, помогают ...

Answer 3

Пакет S-Space имеет версию LSA с открытым исходным кодом, с привязками для векторов документов LSI. (Оба подхода работают с одной и той же матрицей терминологического документа и эквивалентны, за исключением выходных данных.) Это довольно масштабируемый подход, использующий тонкий SVD. Я использовал его для запуска LSI во всей Википедии без проблем (после удаления нечастых терминов с менее чем 5 случаями).

Как отметил Скотт Рэй, пакет SemanticVectors также имеет хорошую реализацию LSI, которая недавно переключилась на использование того же тонкого SVD (SVDLIBJ), так что вы можете проверить это, как если бы вы не делали этого раньше.

Answer 4

Поиск в Google для java LSI приводит к аналогичному вопросу , который рекомендует SemanticVectors. Пакет, построенный поверх Lucene, «похожий» на LSI. Я не знаю, ближе ли это, чем реализация jLSI.

В этой ветке также упоминается, что LSI запатентована, и ее реализации не так много. Поэтому, если вам нужна стандартная реализация, вам, возможно, придется использовать язык, отличный от java.

Answer 5

Вы пробовали пакет Semantic Vector?

http://code.google.com/p/semanticvectors/

Answer 6

Я считаю, что LSA / LSI был запатентован в 1989 году, что означает, что срок действия патента должен был истечь. Надеюсь, скоро мы увидим несколько хороших приложений с открытым исходным кодом.