Как получить доступ к таблицам RDD с помощью Spark SQL как хранилища данных SnowFlake JDBC Distributed Query Engine?

Question

Привет! Я хочу запросить мою временную таблицу базы данных из снежной базы данных.

Аналогично как Как получить доступ к таблицам RDD через Spark SQL как механизм распределенных запросов JDBC?

Есть ли способ сделать это из базы данных снежинок, запущенной на AWS?

Answer 1

Просто чтобы подтвердить - вы хотите, чтобы Snowflake запросила RDD, созданный Spark?

Невозможно подключиться из Snowflake к Spark и запрашивать RDD Spark из Snowflake. Но вы можете подключиться из Spark в Snowflake, скопировать СДР в Snowflake и затем запросить его либо у Spark (например, используя Utils.runQuery(), либо непосредственно у Snowflake.

Больше информации, с примерами, в Документация Snowflake

P.S. Снежинка - это одно слово:)