Не удается подключиться к Snowflake из EMR Cluster с помощью Pyspark

Question

Я пытаюсь подключиться к Snowflake из кластера EMR, используя pyspark.

Я использую эти две банки в spark-submit.

• снежинка-jdb c -3.5.2.jar
• spark-снежинка_2.11-2.7.0-spark_2.4.jar

Но это не удалось из-за ошибки времени ожидания подключения. У меня правильно настроен прокси для кластера EMR. С того же EC2 (EMR Master) я могу подключиться к Snowflake, используя разъемы snowsql и python.

Я не уверен, почему истекает время для pyspark.

Answer 1

Вы можете использовать наш инструмент SnowCD для проверки диагностики подключения. Это связано с проблемами сети. https://docs.snowflake.com/en/user-guide/snowcd.html

Ниже приведены мои команды, когда я пытался запустить через оболочку EMR.

pyspark --packages net .snowflake: snowke-jdb c: 3.6.27, net .snowflake: spark-snowke_2.12: 2.4.14-spark_2.4

spark-submit --packages net .snowflake: snowke-jdb c: 3.8. 0, net .snowflake: spark-snowke_2.11: 2.4.14-spark_2.4 SparkConnPythonWithCert.py

Spark-shell --packages net .snowflake: snowke-jdb c: 3.8 0,0 net .snowflake: искровой snowflake_2.11: 2.4.14-spark_2.4