SnowFlake Datawarehouse: «показать таблицы» и создать таблицу с помощью spark - PullRequest
Новая
       42

SnowFlake Datawarehouse: «показать таблицы» и создать таблицу с помощью spark

0 голосов
/ 12 ноября 2018

У меня есть 2 вопроса относительно spark и хранилища данных Snowflake.

1) Есть ли способ запросить / создать таблицы снежинок, такие как hive / spark (новые или старые версии spark) 

val hive_tables=hiveContext.sql("show tables").foreach(println)

2) hiveContext.sql("create table....")

Первый вопрос заключается в том, чтобы знать, какие таблицы присутствуют для этого конкретного пользователя для конкретной роли.Причина, по которой я задаю вопрос, заключается в том, что через веб-интерфейс пользователя «снежинка» я могу запросить таблицу, но из-за спарка я не могу запросить 

Exception in thread "main" net.snowflake.client.jdbc.SnowflakeSQLException: SQL compilation error:
Object 'mytable' does not exist.

1 Ответ

0 голосов
/ 13 ноября 2018

Вы должны дважды проверить такие вещи, как база данных / схема / роль в настройках соединения JDBC.Если вы не видите таблицу через JDBC, один из них может быть виновником.

Вы можете проверить текущие настройки, запустив, например, show roles, show schemas и show databases на установленном соединении JDBC.

В общем, я настоятельно рекомендую использовать разъем Spark-Snowflake для связи со Snowflake от Spark.Он также предоставляет Utils.runQuery() для выполнения простых запросов, таких как DDL.

...