Как можно настроить Druid в Datapro c? - PullRequest
Новая
       111

Как можно настроить Druid в Datapro c?

2 голосов
/ 03 августа 2020

Теперь, когда Druid стал дополнительным компонентом Google Cloud Datapro c (https://cloud.google.com/dataproc/docs/concepts/components/druid), мне интересно, как можно настроить Druid из создания кластера Datapro c? Я пробовал следующую команду gcloud: 

%gcloud dataproc clusters create test1 --region=us-east1 --zone=us-east1-b -- 
num-masters=1 --num-workers=2 --optional-components=ZOOKEEPER,DRUID -- 
properties=druid:druid.storage.type=google,...

Но она возвращает ошибку:

Свойство druid: druid.storage.type имеет неподдерживаемый префикс

Очевидно druid не является допустимым префиксом. Тогда как мне настроить Druid в Datapro c?

Спасибо.

Ответы [ 2 ]

0 голосов
/ 26 августа 2020

Для настройки Druid вы можете использовать следующие свойства кластера префиксы при создании кластера Datapro c с Druid: 

druid-broker:<property-name>=<value>
druid-broker-jvm:<property-name>=<value>
druid-broker-runtime:<property-name>=<value>
druid-coordinator:<property-name>=<value>
druid-historical:<property-name>=<value>
druid-historical-jvm:<property-name>=<value>
druid-historical-runtime:<property-name>=<value>
druid-middleManager:<property-name>=<value>
druid-overlord:<property-name>=<value>
druid-router:<property-name>=<value>
0 голосов
/ 04 августа 2020

Druid все еще находится на стадии альфа-тестирования и не поддерживает конфигурацию хранилища Deep Storage или Metadata. Поддерживаются только свойства JVM и свойства времени выполнения компонента Druid (Broker, Historical et c).

Это также означает, что только HDFS поддерживается как глубокое хранилище и MySql как хранилище метаданных.

...