Пароль меньше логин в снежинке от pyspark - PullRequest
0 голосов
/ 02 февраля 2019

Я новичок в снежинке.Я создаю задание ETL, где нам нужен доступ к базе данных снежинок.

Я пытаюсь подключиться к снежинке из двух мест.Один из экземпляра ec2 с использованием сценария оболочки, а другой из pyspark в aws glue.Когда я пытаюсь подключиться из сценария оболочки, я сохраняю свой пароль в файле конфигурации, а когда я пытаюсь подключиться из pyspark, я должен указать свой пароль, как показано ниже

sfOptions = {"sfURL": «xxx», «sfAccount»: «xxx», «sfUser»: «xxx», «sfPassword»: «xxx», «sfDatabase»: «xxx», «sfSchema»: «xxx»}

Но я не хочу давать такой пароль, так как он небезопасен.Я хочу логин без пароля или авторизацию парой ключей из сценария оболочки и pysparkЯ нашел здесь один документ https://docs.snowflake.net/manuals/user-guide/snowsql-start.html#using-key-pair-authentication

Но я не знаю, будет ли он работать в скриптах pyspark и shell.и если это работает, то как передать пароль в sfOption, показанном выше.По сути, я не хочу давать «sfPassword»: «xxx» в вышеуказанном соединении.

1 Ответ

0 голосов
/ 02 февраля 2019

Почему бы не хранить пароль в SSM для хранения учетных данных и использовать их в клее?Прочитайте https://medium.com/nordcloud-engineering/ssm-parameter-store-for-keeping-secrets-in-a-structured-way-53a25d48166a для использования ssm

...