Кастомный токенизатор ngram эластичный поиск - PullRequest
0 голосов
/ 25 мая 2019

У меня проблемы с правильным созданием ребра ngram с токенизатором в упругой. Например, я сохранил текст «30 G». С помощью базового токенайзера ребра (от 1 до 10 размера) он разделит этот текст на [3, 30, 30 (с пробелом), 30 G]. Можно ли как-то разбить мой текст по пробелам и создать только [30, 30 G] нграмм? Что мне нужно сделать дополнительно, чтобы добиться такого эффекта?

...