Что передавать в качестве аргументов при создании scioContext с использованием ContextAndArgs в Scio Spotify - PullRequest
0 голосов
/ 10 октября 2018

Я новичок в Scio и пытался узнать больше об этом.Я видел несколько примеров в исходном коде Scio и хотел его запустить.Но он запрашивает какой-то аргумент, который я не знаю и не указан в Документах.

 val (sc, args) = ContextAndArgs(cmdlineArgs)

Для этой части кода мне нужно передать некоторые аргументы, и я не знаю, что именно нужно, и вкакой формат.Кроме того, как я могу передать Google Cloud Credential непосредственно в код, если в системе не установлен gsutil?

1 Ответ

0 голосов
/ 18 октября 2018

Учетные данные GCP являются частью GcpOptions, которая расширяет PipelineOptions, то есть, как Beam обрабатывает параметры командной строки.Так что в этом случае вы передадите --gcpCredentail.https://beam.apache.org/releases/javadoc/2.7.0/org/apache/beam/sdk/extensions/gcp/options/GcpOptions.html

Существуют и другие способы, например, настройка gcloud SDK для использования учетных данных пользователя по умолчанию или секретного файла JSON через переменную среды.https://github.com/spotify/scio/wiki/FAQ#how-do-i-fix-invalid-default-bigquery-credentials

...