Обновление:
Ответ зависит от версии. Для Lucene 4.0 используйте:
Analyzer analyzer = new StandardAnalyzer(Version.LUCENE_40, CharArraySet.EMPTY_SET);
Обратите внимание, что StandardAnalyzer
не в банке с люценовым ядром, а в lucene-analyzers-common-4.0.0.jar