Почему sqlite fts5 Unicode61 Tokenizer не поддерживает CJK (китайский японский корейский)? - PullRequest
Новая
       30

Почему sqlite fts5 Unicode61 Tokenizer не поддерживает CJK (китайский японский корейский)?

0 голосов
/ 20 сентября 2018

Я думал, что Unicode61 Tokenizer может поддерживать CJK - Китайский Японский Корейский Я подтверждаю, что мой sqlite поддерживает fts5 

sqlite> pragma compile_options;
BUG_COMPATIBLE_20160819
COMPILER=clang-9.0.0
DEFAULT_CACHE_SIZE=2000
DEFAULT_CKPTFULLFSYNC
DEFAULT_JOURNAL_SIZE_LIMIT=32768
DEFAULT_PAGE_SIZE=4096
DEFAULT_SYNCHRONOUS=2
DEFAULT_WAL_SYNCHRONOUS=1
ENABLE_API_ARMOR
ENABLE_COLUMN_METADATA
ENABLE_DBSTAT_VTAB
ENABLE_FTS3
ENABLE_FTS3_PARENTHESIS
ENABLE_FTS3_TOKENIZER
ENABLE_FTS4
ENABLE_FTS5

Но, к моему удивлению, он может 'не могу найти никакого слова CJK.Почему это так? 

sqlite> CREATE VIRTUAL TABLE ft5_test USING fts5(content, tokenize = 'porter unicode61 remove_diacritics 1');
sqlite> INSERT INTO ft5_test values('为什么不支持中文 fts5 does not seem to work for chinese');
sqlite> select * from ft5_test where ft5_test = '中文';
sqlite>
sqlite> select * from ft5_test where ft5_test = 'Chinese';
为什么不支持中文 fts5 does not seem to work for chinese

------------- update ----------

Я провожу довольно много времени в строительствеверсия icu.Я поделился своим опытом здесь https://stackoverflow.com/a/52866566/301513

Из того, что я узнал, использование версии icu - единственный способ поддержки CJK, а fts5 не поддерживает токенайзер icu.

Я оставляю здесь свой вопрос на случай, еслиу других могут быть новые представления о проблеме.

...