Как запустить кластер datapro c в режиме кластера? - PullRequest
Новая
       19

Как запустить кластер datapro c в режиме кластера?

2 голосов
/ 24 февраля 2020

Мы пытаемся запустить кластер Datapro c в режиме кластера, но не можем этого сделать. Мы опробовали свойство --properties spark.submit.deployMode=cluster, но не смогли.

Может кто-нибудь дать больше информации о том, как настроить?

Заранее спасибо.

1 Ответ

1 голос
/ 24 февраля 2020

Похоже, проблема в том, что вы не указали префикс spark: при установке свойства spark.submit.deployMode при создании кластера.

В Datapro c, если вы устанавливаете свойства во время создания кластера, вам нужно добавьте к ним префикс к компоненту, для которого вы их устанавливаете, подробности см. в Datapro c документации по свойствам кластера .

Эта команда должна работать для создания кластера, в котором задания Spark будут отправляться в режим кластера: 

CLUSTER_NAME=<cluster_name>
gcloud dataproc clusters create ${CLUSTER_NAME} \
  --properties=spark:spark.submit.deployMode=cluster

Обратите внимание, что в режиме кластера Datapro c не сможет передавать выходные данные драйвера Spark в gcloud и Cloud Console.

...