Конвертировать Sql как пользовательские запросы DSL в ElasticSearch? - PullRequest
Новая
       101

Конвертировать Sql как пользовательские запросы DSL в ElasticSearch?

8 голосов
/ 18 февраля 2020

Мы создаем наш собственный язык запросов, аналогичный Mysql, используя antlr4. За исключением того, что мы используем только where clause, другими словами, пользователь не вводит select/from операторов.

Я смог создать для него грамматику и сгенерировать лексеры / парсеры / слушатели в golang.

Ниже нашего файла грамматики EsDslQuery.g4: 

grammar EsDslQuery;

options {
language = Go;
}

query
   : leftBracket = '(' query rightBracket = ')'                             #bracketExp
   | leftQuery=query op=OR rightQuery=query                                 #orLogicalExp
   | leftQuery=query op=AND rightQuery=query                                #andLogicalExp
   | propertyName=attrPath op=COMPARISON_OPERATOR propertyValue=attrValue   #compareExp
   ;

attrPath
   : ATTRNAME ('.' attrPath)?
   ;

fragment ATTR_NAME_CHAR
   : '-' | '_' | ':' | DIGIT | ALPHA
   ;

fragment DIGIT
   : ('0'..'9')
   ;

fragment ALPHA
   : ( 'A'..'Z' | 'a'..'z' )
   ;

attrValue
   : BOOLEAN           #boolean
   | NULL              #null
   | STRING            #string
   | DOUBLE            #double
   | '-'? INT EXP?     #long
   ;

...

Пример запроса: color="red" and price=20000 or model="hyundai" and (seats=4 or year=2001)

ElasticSearch поддерживает sql запросов с плагином здесь: https://github.com/elastic/elasticsearch/tree/master/x-pack/plugin/sql .

Трудно понять код java.

Поскольку у нас есть логические операторы, я не совсем уверен, как получить дерево разбора и преобразовать его в запрос ES. Может кто-нибудь помочь / предложить идеи?

Обновление 1: добавлено больше примеров с соответствующим запросом ES

Пример запроса 1: color="red" AND price=2000

Запрос ES 1: 

{
    "query": {
      "bool": {
        "must": [
          {
            "terms": {
              "color": [
                "red"
              ]
            }
          },
          {
            "terms": {
              "price": [
                2000
              ]
            }
          }
        ]
      }
    },
    "size": 100
  }

Пример запроса 2: color="red" AND price=2000 AND (model="hyundai" OR model="bmw")

Запрос ES 2: 

{
  "query": {
    "bool": {
      "must": [
        {
          "bool": {
            "must": {
              "terms": {
                "color": ["red"]
              }
            }
          }
        },
        {
          "bool": {
            "must": {
              "terms": {
                "price": [2000]
              }
            }
          }
        },
        {
          "bool": {
            "should": [
              {
                "term": {
                  "model": "hyundai"
                }
              },
              {
                "term": {
                  "region": "bmw"
                }
              }
            ]
          }
        }
      ]
    }
  },
  "size": 100
}

Пример запроса 3: color="red" OR color="blue"

ES запрос 3: 

{
    "query": {
      "bool": {
        "should": [
          {
            "bool": {
              "must": {
                "terms": {
                  "color": ["red"]
                }
              }
            }
          },
          {
            "bool": {
              "must": {
                "terms": {
                    "color": ["blue"]
                }
              }
            }
          }
        ]
      }
    },
    "size": 100
  }

Ответы [ 3 ]

6 голосов
/ 27 февраля 2020

URL-адрес рабочей демонстрации: https://github.com/omurbekjk/convert-dsl-to-es-query-with-antlr, предполагаемое время, потраченное: ~ 3 недели

После изучения antlr4 и нескольких примеров я нашел простое решение с использованием слушателя и стека , Подобно тому, как выражения вычисляются с использованием стека.

Нам нужно перезаписать базовый прослушиватель по умолчанию нашим, чтобы получить триггеры для каждого правила грамматики ввода / вывода. Важные правила:

  1. Выражение сравнения (цена = 200, цена> 190)
  2. Логические операторы (ИЛИ, И)
  3. Скобки (для правильного построения В ответ на запрос нам нужно написать правильный файл грамматики, помня приоритет оператора, поэтому скобки стоят на первом месте в файле грамматики)

Ниже моего пользовательского кода слушателя, написанного на golang: 

package parser

import (
    "github.com/olivere/elastic"
    "strings"
)

type MyDslQueryListener struct {
    *BaseDslQueryListener
    Stack []*elastic.BoolQuery
}

func (ql *MyDslQueryListener) ExitCompareExp(c *CompareExpContext) {
    boolQuery := elastic.NewBoolQuery()

    attrName := c.GetPropertyName().GetText()
    attrValue := strings.Trim(c.GetPropertyValue().GetText(), `\"`)
    // Based on operator type we build different queries, default is terms query(=)
    termsQuery := elastic.NewTermQuery(attrName, attrValue)
    boolQuery.Must(termsQuery)
    ql.Stack = append(ql.Stack, boolQuery)
}

func (ql *MyDslQueryListener) ExitAndLogicalExp(c *AndLogicalExpContext) {
    size := len(ql.Stack)
    right := ql.Stack[size-1]
    left := ql.Stack[size-2]
    ql.Stack = ql.Stack[:size-2] // Pop last two elements
    boolQuery := elastic.NewBoolQuery()
    boolQuery.Must(right)
    boolQuery.Must(left)
    ql.Stack = append(ql.Stack, boolQuery)
}

func (ql *MyDslQueryListener) ExitOrLogicalExp(c *OrLogicalExpContext) {
    size := len(ql.Stack)
    right := ql.Stack[size-1]
    left := ql.Stack[size-2]
    ql.Stack = ql.Stack[:size-2] // Pop last two elements
    boolQuery := elastic.NewBoolQuery()
    boolQuery.Should(right)
    boolQuery.Should(left)
    ql.Stack = append(ql.Stack, boolQuery)
}

и основной файл: 

package main

import (
    "encoding/json"
    "fmt"
    "github.com/antlr/antlr4/runtime/Go/antlr"
    "github.com/omurbekjk/convert-dsl-to-es-query-with-antlr/parser"
)

func main() {
    fmt.Println("Starting here")
    query := "price=2000 OR model=\"hyundai\" AND (color=\"red\" OR color=\"blue\")"
    stream := antlr.NewInputStream(query)
    lexer := parser.NewDslQueryLexer(stream)
    tokenStream := antlr.NewCommonTokenStream(lexer, antlr.TokenDefaultChannel)
    dslParser := parser.NewDslQueryParser(tokenStream)
    tree := dslParser.Start()

    listener := &parser.MyDslQueryListener{}
    antlr.ParseTreeWalkerDefault.Walk(listener, tree)

    esQuery := listener.Stack[0]

    src, err := esQuery.Source()
    if err != nil {
        panic(err)
    }
    data, err := json.MarshalIndent(src, "", "  ")
    if err != nil {
        panic(err)
    }

    stringEsQuery := string(data)
    fmt.Println(stringEsQuery)
}

/**     Generated es query
{
  "bool": {
    "should": [
      {
        "bool": {
          "must": [
            {
              "bool": {
                "should": [
                  {
                    "bool": {
                      "must": {
                        "term": {
                          "color": "blue"
                        }
                      }
                    }
                  },
                  {
                    "bool": {
                      "must": {
                        "term": {
                          "color": "red"
                        }
                      }
                    }
                  }
                ]
              }
            },
            {
              "bool": {
                "must": {
                  "term": {
                    "model": "hyundai"
                  }
                }
              }
            }
          ]
        }
      },
      {
        "bool": {
          "must": {
            "term": {
              "price": "2000"
            }
          }
        }
      }
    ]
  }
}

*/
2 голосов
/ 27 февраля 2020

Существует программное обеспечение под названием Dremio https://www.dremio.com/

. Оно может перевести SQL запрос в elasti c запрос поиска

https://www.dremio.com/tutorials/unlocking-sql-on-elasticsearch/

2 голосов
/ 26 февраля 2020

Задумывались ли вы о преобразовании ваших sql подобных операторов в запрос строки запросов ? 

curl -X GET "localhost:9200/_search?pretty" -H 'Content-Type: application/json' -d'
{
    "query": {
        "query_string" : {
            "query" : "(new york city) OR (big apple)",
            "default_field" : "content"
        }
    }
}
'

Если ваши варианты использования остаются простыми, как color="red" and price=20000 or model="hyundai" and (seats=4 or year=2001), я бы go с вышеизложенным. Синтаксис довольно мощный , но запросы гарантированно будут выполняться медленнее, чем собственные, прописанные DSL-запросы, поскольку анализатору ES потребуется преобразовать их в DSL.

...