Edge NGram поиск в PostgreSQL - PullRequest
Новая
       45

Edge NGram поиск в PostgreSQL

0 голосов
/ 05 июля 2019

Мне нужно сделать автозаполнение при поиске по типу для большого списка компаний (более 80 000 000). Название компании должно содержать слово, которое начинается с поискового запроса, подобного этому 

+-------+----------------------------------+
| term  | results                          |
+-------+----------------------------------+ 
| gen   | general motors; general electric |
| geno  | genoptix; genomic health         |
| genom | genoma group; genomic health     |
+-------+----------------------------------+

Модуль pg_trgm и GIN index реализуют аналогичное поведение, но не решают мою проблему.

Например, ElasticSearch имеет функцию Edge NGram Tokenizer , которая полностью соответствует моим требованиям.

Из документации: 

The edge_ngram tokenizer first breaks the text down into words 
whenever it encounters one of a list of specified characters, 
then it emits N-grams of each word 
where the start of the N-gram is anchored to the beginning of the word.

Edge N-Grams are useful for search-as-you-type queries.

Есть ли подобное решение в PostgreSQL?

1 Ответ

0 голосов
/ 05 июля 2019

Я создаю пользовательский токенизатор 

CREATE OR REPLACE FUNCTION edge_gram_tsvector(text text) RETURNS tsvector AS
$BODY$
BEGIN
    RETURN (select array_to_tsvector((select array_agg(distinct substring(lexeme for len)) from unnest(to_tsvector(text)), generate_series(1,length(lexeme)) len)));
END;
$BODY$
IMMUTABLE
language plpgsql;

Эта функция создает все граничные нграммы, подобные этой 

postgres=# select edge_gram_tsvector('general electric');
                               edge_gram_tsvector
-----------------------------------------------------------------------------------------
 'e' 'el' 'ele' 'elec' 'elect' 'electr' 'g' 'ge' 'gen' 'gene' 'gener' 'genera' 'general'
(1 row)

Затем я создаю GIN индекс для tsquery 

create index on company using gin(edge_gram_tsvector(name));

Поисковый запрос будет выглядеть следующим образом 

b2bdb_master=# select name from company where edge_gram_tsvector(name) @@ 'electric'::tsquery limit 3;
                    name
--------------------------------------------
 General electric
 Electriciantalk
 Galesburg Electric Industrial Supply
(3 rows)

Производительность решения довольно высока 

explain analyse select * from company where edge_gram_tsvector(name) @@ 'electric'::tsquery;


Bitmap Heap Scan on company  (cost=175.13..27450.31 rows=20752 width=2247) (actual time=0.224..1.019 rows=343 loops=1)
  Recheck Cond: (edge_gram_tsvector((name)::text) @@ '''electric'''::tsquery)
  Heap Blocks: exact=342
  ->  Bitmap Index Scan on company_edge_gram_tsvector_idx  (cost=0.00..169.94 rows=20752 width=0) (actual time=0.138..0.138 rows=343 loops=1)
        Index Cond: (edge_gram_tsvector((name)::text) @@ '''electric'''::tsquery)
Planning Time: 0.216 ms
Execution Time: 1.100 ms
...