Друидский диспетчер пакетов hadoop: Не удалось разрешить идентификатор типа 'index.hadoop' как подтип SupervisorSpec. - PullRequest
Новая
       61

Друидский диспетчер пакетов hadoop: Не удалось разрешить идентификатор типа 'index.hadoop' как подтип SupervisorSpec.

0 голосов
/ 04 ноября 2019

Я пытаюсь запустить супервизор Druid для загрузки данных PArqurt, хранящихся в hadoop. Однако я получаю следующую ошибку и не могу найти информацию о ней:

"error": "Не удалось разрешить идентификатор типа 'index_hadoop' как подтип [простой тип, класс io.druid.indexing.overlord.supervisor.SupervisorSpec]: известный тип ids = [NoopSupervisorSpec, kafka] \ n в [Source: (org.eclipse.jetty.server.HttpInputOverHTTP)

Я пыталсяисправить это, загрузив расширенное хранилище hadoop, паркет и расширения avro в список загрузки расширений, но это не сработало.

Это моя конфигурация JSON супервизора: 

{
  "type" : "index_hadoop",
  "spec" : {
    "dataSchema" : {
      "dataSource" : "hadoop-batch-timeseries",
      "parser" : {
        "type": "parquet",
        "parseSpec" : {
            "format" : "parquet",
            "flattenSpec": {
                "useFieldDiscovery": true,
                "fields": [
                ]
            },
            "timestampSpec" : {
                "column" : "timestamp",
                "format" : "auto"
            },
            "dimensionsSpec" : {
                "dimensions": [ "installation", "var_id", "value" ],
                "dimensionExclusions" : [],
                "spatialDimensions" : []
            }
        }
      },
      "metricsSpec" : [
        {
          "type" : "count",
          "name" : "count"
        }
      ],
      "granularitySpec" : {
        "type" : "uniform",
        "segmentGranularity" : "DAY",
        "queryGranularity" : "NONE",
        "intervals" : [ "2018-10-01/2018-11-30" ]
      }
    },
    "ioConfig": {
      "type": "hadoop",
      "inputSpec": {
        "type": "granularity",
        "dataGranularity": "day",
        "inputFormat": "org.apache.druid.data.input.parquet.DruidParquetInputFormat",
        "inputPath": "/warehouse/tablespace/external/hive/demo.db/integers",
        "filePattern": "*.parquet",
        "pathFormat": "'year'=yyy/'month'=MM/'day'=dd"
      },
    },
    "tuningConfig" : {
      "type": "hadoop"
    }
  },
  "hadoopDependencyCoordinates": "3.1.0"
}
...