Плагин Apache Drill LogRegex

Question

Я пытаюсь использовать Apache Drill с logFile Regex и не могу его настроить.Я попытался с тем же примером веб-страницы https://drill.apache.org/docs/logfile-plugin/, но я получил ошибку при попытке сохранить его.

Я пытался:

"log" : {
      "type" : "logRegex",
      "extension" : "log",
      "regex" : "(\\d{6})\\s(\\d{2}:\\d{2}:\\d{2})\\s+(\\d+)\\s(\\w+)\\s+(.+)",
      "maxErrors": 10,
      "schema": [
        {
          "fieldName": "eventDate",
          "fieldType": "DATE",
          "format": "yyMMdd"
        },
        {
          "fieldName": "eventTime",
          "fieldType": "TIME",
          "format": "HH:mm:ss"
        },
        {
          "fieldName": "PID",
          "fieldType": "INT"
        },
        {
          "fieldName": "action"
        },
        {
          "fieldName": "query"
        }
      ]
   }

Это не имеет особого смысла для меня, я тоже пробовал это:

{
    "type": "file",
    "enabled": true,
    "connection": "file:///",
    "workspaces": {
      "root": {
        "location": "/user/max/donuts",
        "writable": false,
        "defaultInputFormat": null
       }
    },
    "formats" : {
      "json" : {
        "type" : "json"
      }
    },
"log" : {
      "type" : "logRegex",
      "extension" : "log",
      "regex" : "(\\d{6})\\s(\\d{2}:\\d{2}:\\d{2})\\s+(\\d+)\\s(\\w+)\\s+(.+)",
      "maxErrors": 10,
      "schema": [
        {
          "fieldName": "eventDate",
          "fieldType": "DATE",
          "format": "yyMMdd"
        },
        {
          "fieldName": "eventTime",
          "fieldType": "TIME",
          "format": "HH:mm:ss"
        },
        {
          "fieldName": "PID",
          "fieldType": "INT"
        },
        {
          "fieldName": "action"
        },
        {
          "fieldName": "query"
        }
      ]
   }
  }

Кто-нибудь настраивает этоплагин правильно?

Answer 1

Похоже, ваш файл json-config недействителен.Ваш ключ "format" закрывается сразу после плагина формата "json".Пожалуйста, проверьте это дважды или попробуйте это:

{
  "storage":{
    dfs: {
      type: "file",
      connection: "file:///",
      workspaces: {
        "root" : {
          location: "/",
          writable: false,
          allowAccessOutsideWorkspace: false
        },
        "tmp" : {
          location: "/tmp",
          writable: true,
          allowAccessOutsideWorkspace: false
        }
      },
      formats: {
        "log" : {
          "type" : "logRegex",
          "extension" : "log",
          "regex" : "(\\d{6})\\s(\\d{2}:\\d{2}:\\d{2})\\s+(\\d+)\\s(\\w+)\\s+(.+)",
          "maxErrors": 10,
          "schema": [
            {
              "fieldName": "eventDate",
              "fieldType": "DATE",
              "format": "yyMMdd"
            },
            {
              "fieldName": "eventTime",
              "fieldType": "TIME",
              "format": "HH:mm:ss"
            },
            {
              "fieldName": "PID",
              "fieldType": "INT"
            },
            {
              "fieldName": "action"
            },
            {
              "fieldName": "query"
            }
          ]
        }
      }
    }
  }
}