Как создать поток данных gcloud из консоли Linux - PullRequest
0 голосов
/ 20 февраля 2019

Я уже создал поток данных gcloud на облачной платформе Google, и теперь мне нужно сделать это с консоли Linux.Основные вопросы:

  • Как это должно выглядеть?
  • Как мне работать с --parameters из gcloud?

1 Ответ

0 голосов
/ 22 февраля 2019

В целом (!) Все, чего вы можете достичь с помощью Cloud Console, доступно вам через Google Cloud SDK, более часто называемое gcloud.

gcloud, хорошо разработано, согласовано иболее мощный, чем консоль;у вас больше возможностей и гибкости при использовании gcloud, чем у Console.

Я рекомендую вам ознакомиться с документацией Google gcloud ( ссылка ).С левой стороны вы увидите список всех команд с подробной документацией.

Я рекомендую вам рассмотреть возможность использования превосходной интерактивной оболочки gcloud .Это облегчит вам изучение этого инструмента.

Одно замечание с gcloud состоит в том, что есть общедоступные команды (gcloud [command] ...), а также есть команды альфа и бета.Лично я нахожу это запутанным, потому что вам, возможно, потребуется обратиться к трем различным командам, чтобы найти именно то, что вам нужно.

В вашем случае gcloud dataflow --help сообщит вам, что вы можете взаимодействовать только с одной «группой» (jobs), т.е. gcloud dataflow jobs --help.Однако, если вы используете альфа- и бета-команды gcloud alpha dataflow --help, вы увидите, что вы можете взаимодействовать с jobs, logs и metrics.Помните об этом со всеми командами gcloud.

Хорошей отправной точкой для вас может быть запрос (не разрушительно) jobs в вашем проекте.В документации показаны две опции list ( ссылка ) и describe ( ссылка ).

Поскольку все команды gcloud относятся к облачному проекту,вам нужно будет указать проект.Вы можете сделать это по команде gcloud ... --project=${PROJECT} или установить проект по умолчанию gcloud config set project ${PROJECT}.Я рекомендую всегда указывать проект для каждой команды.

Итак, без лишних слов ... это должно помочь вам:

Опционально, используйте интерактивную оболочку ( NB одна из команд beta):

gcloud beta interactive

Если еще нет, войдите в систему:

gcloud auth login [[YOUR-GOOGLE-ACCOUNT]]

Затем что-то похожее на:

gcloud dataflow jobs list --project=[[YOUR-PROJECT]]

Возьмите одну изидентификаторы работы:

gcloud dataflow jobs describe [[YOUR-JOB-ID]] --project=[[YOUR-PROJECT]]

Надеюсь, что помогает!

...