Dataproc добавляет дополнительное поле при добавлении ключей, используя --properties? - PullRequest
Новая
       26

Dataproc добавляет дополнительное поле при добавлении ключей, используя --properties?

0 голосов
/ 06 сентября 2018

Я пытаюсь обновить или добавить новые поля в конфигурацию куста в кластере dataproc, используя поле --properties. Я запускаю команду кластера dataproc из облачной оболочки. Я вижу, что dataproc добавляет новый ключ с помощью final. Я не могу найти, что это значит? 

  <property>
    <name>hive.compactor.worker.threads</name>
    <value>1</value>
    <final>false</final>
    <source>Dataproc Cluster Properties</source>
  </property>

Кроме того, когда dataproc применяет эти изменения к hive.xml? после запуска куста служба запускается на кластере или раньше? Также я не могу найти документацию о том, как перезапустить куст и запустить его после внесения некоторых изменений в конфигурацию куста после создания кластера?

1 Ответ

0 голосов
/ 07 сентября 2018

1) Если свойство помечено final, оно не может быть переопределено пользователями для каждого задания (например, с помощью параметров командной строки или настройки свойств в SparkConf / Configuration). Мы явно сделали свойства всего кластера переопределенными. https://hadoop.apache.org/docs/stable/api/org/apache/hadoop/conf/Configuration.html

2) Dataproc применяет - свойства к файлам xml перед запуском любых служб

3) Если вы измените свойства вручную, вы можете перезапустить соответствующие службы, выполнив команду ssh в главном узле кластера и запустив sudo systemctl restart <service>. Для улья это hive-metastore и hive-server2. Для искры это spark-history-server. Несколько действий по инициализации делают это.

4) Подумайте об удалении и воссоздании кластера, если вы хотите изменить свойства - это немного проще, чем выяснить, какие службы перезапускать.

5) Помните, что вы по-прежнему можете устанавливать конфигурации для каждой работы для каждой работы. Если вы используете gcloud, это что-то вроде gcloud dataproc jobs submit spark --properties spark.executors.cores=4 ...other args..., с spark-submit вы можете использовать --conf, а с hive вы можете использовать set prop=value.

...