Загрузка файла паркета в друид - PullRequest
Новая
       22

Загрузка файла паркета в друид

0 голосов
/ 10 сентября 2018

Я новичок в друидах. Я выполнил локальную настройку друида в локальной системе и могу загружать файлы данных JSON в друид.

Однако, когда я пытаюсь загрузить файл паркета, он выдает исключение неожиданного символа.

Я установил расширения Parquet и Avro, и в каждом случае я получаю следующую ошибку

$> curl -X 'POST' -H 'Тип содержимого: application / json' -d @ examples / wikipedia_hadoop_parquet_job.json http://localhost:8090/druid/indexer/v1/task

<code><html>
<head>
<meta http-equiv="Content-Type" content="text/html;charset=ISO-8859-1"/>
<title>Error 500 </title>
</head>enter code here
<body>
<h2>HTTP ERROR: 500</h2>
<p>Problem accessing /druid/indexer/v1/task. Reason:
<pre>    javax.servlet.ServletException: com.fasterxml.jackson.core.JsonParseException: Unexpected character (&apos;}&apos; (code 125)): was expecting double-quote to start field name
 at [Source: HttpInputOverHTTP@57df7615[c=2032,q=1,[0]=EOF,s=STREAM]; line: 1, column: 493]
Powered by Jetty: // 9.3.19.v20170502

Ниже приведен файл конфигурации JSON 

{
  "type": "index_hadoop",
  "spec": {
    "ioConfig": {
      "type": "hadoop",
      "inputSpec": {
        "type": "static",
        "inputFormat": "org.apache.druid.data.input.parquet.DruidParquetInputFormat",
        "paths": "example/wikipedia_list.parquet"
      },
      "metadataUpdateSpec": {
        "type": "postgresql",
        "connectURI": "jdbc:postgresql://localhost/druid",
        "user" : "druid",
        "password" : "asdf",
        "segmentTable": "druid_segments"
      },

    },
    "dataSchema": {
      "dataSource": "wikipedia",
      "parser": {
        "type": "parquet",
        "parseSpec": {
          "format": "timeAndDims",
          "timestampSpec": {
            "column": "timestamp",
            "format": "auto"
          },
          "dimensionsSpec": {
            "dimensions": [
              "page",
              "language",
              "user",
              "unpatrolled"
            ],
            "dimensionExclusions": [],
            "spatialDimensions": []
          }
        }
      },
      "metricsSpec": [{
        "type": "count",
        "name": "count"
      }, {
        "type": "doubleSum",
        "name": "deleted",
        "fieldName": "deleted"
      }, {
        "type": "doubleSum",
        "name": "delta",
        "fieldName": "delta"
      }],
      "granularitySpec": {
        "type": "uniform",
        "segmentGranularity": "DAY",
        "queryGranularity": "NONE",
        "intervals": ["2013-08-30/2013-09-02"]
      }
    },
    "tuningConfig": {
      "type": "hadoop",
      "workingPath": "tmp/working_path",
      "partitionsSpec": {
        "targetPartitionSize": 5000000
      },
      "leaveIntermediate": true
    }
  }
}

Я не могу выяснить проблему. Дайте мне знать, если я что-то упустил.

...