Пользовательский токенизатор Lucene Solr - Как включить специальные символы-разделители в качестве токенов? - PullRequest
0 голосов
/ 23 января 2019

Мне нужно написать токенайзер для файлов с исходным кодом в Solr, но у меня нет возможности включения пользовательских JAR-файлов.Например:

Ввод: foo.bar

Токены: 'foo', '.', 'bar'

Как я могу иметь собственный токенизатор или фильтр в schema.xml, который может делиться на некоторыесимволы, но также не удалить символ?

Я пробовал токенайзер шаблонов Regex, но он удаляет разделители.

...