Выполнение команд HDFS в кластере dataproc, если вы не можете использовать SSH на главном узле - PullRequest
Новая
       14

Выполнение команд HDFS в кластере dataproc, если вы не можете использовать SSH на главном узле

0 голосов
/ 09 ноября 2018

Есть ли способ отправки команд HDFS в кластере Dataproc, если вы не можете подключиться по SSH к главному узлу. Я не смог найти ничего в Gcloud SDK или остальном API.

Так что-то вроде: 

gcloud dataproc jobs submit hdfs 'ls /hdfs/path/' --cluster=my-cluster --region=europe-west1

1 Ответ

0 голосов
/ 09 ноября 2018

Самый простой способ - pig fs через gcloud dataproc jobs submit pig --execute 'fs -ls /', или иным образом pig sh в качестве универсального для других команд оболочки.

...