GCP Dataproc: создать кластер с активированным драйвером стека - PullRequest
Новая
       77

GCP Dataproc: создать кластер с активированным драйвером стека

1 голос
/ 30 октября 2019

Используя GCP, я создаю рабочие процессы для своей обработки. Я хочу активировать ведение журнала Stackdriver, чтобы иметь больше метрик (см. https://cloud.google.com/dataproc/docs/guides/stackdriver-logging).

. Из документации я должен установить свойство: 

dataproc:dataproc.logging.stackdriver.job.driver.enable=true

Мой шаблон рабочего процесса выглядит следующим образом: 

placement:
  managedCluster:
    clusterName: my-cluster
    config:
      gceClusterConfig:
        zoneUri: europe-west1-d
      masterConfig:
        machineTypeUri: n1-standard-4
      workerConfig:
        machineTypeUri: n1-standard-4
        numInstances: 10

Где мне установить это свойство?

Thx.

1 Ответ

3 голосов
/ 30 октября 2019

Следующее должно работать.

Поскольку иерархия API глубоко вложена, вы можете построить начальный шаблон, используя интерфейс gcloud dataproc workflow-templates, команда describe даст вам правильный YAML или JSON. Затем вы можете выполнить быструю итерацию, используя instantiate-inline из локального файла. 

placement:
  managedCluster:
    clusterName: my-cluster
    config:
      gceClusterConfig:
        zoneUri: europe-west1-d
      masterConfig:
        machineTypeUri: n1-standard-4
      workerConfig:
        machineTypeUri: n1-standard-4
        numInstances: 10
      softwareConfig:
        properties:
          dataproc:dataproc.logging.stackdriver.job.driver.enable: true
...