Я смотрю, есть ли библиотека javascript, уже доступная для токенизации многоязычного языка (особенно нелатинских), что-то похожее на Сегментер ICU, предлагаемый dkpro https://dkpro.github.io/dkpro-core/releases/1.9.3/docs/component-reference.html#engine-IcuSegmenter, но предлагаемый какбиблиотека javascript.
Основное требование заключается в том, что пользователь должен получить мгновенную обратную связь о количестве токенов, введенных на определенном языке.Мы могли бы создать бэкэнд-сервис, используя сегментатор dkpro ICU.Но это добавит задержку для обратной связи с пользователем и не будет мгновенным.
Любые советы или предложения приветствуются.