Как создать таблицу RedShift с помощью Spark? - PullRequest
0 голосов
/ 10 октября 2019

Это работает в Spark:

df =  spark.read \
  .format('jdbc') \
  .option("url", "jdbc:redshift://redshift-cluster-xyz.redshift.amazonaws.com:5439/dev") \
  .option("user", "myuser") \
  .option("password", "mypass") \
  .option("query", "select distinct(tablename) from pg_table_def where schemaname = 'public' ") \
  .load().show()

Это не удается:

spark.read \
  .format('jdbc') \
  .option("url", "jdbc:redshift://redshift-cluster-xyz.redshift.amazonaws.com:5439/dev") \
  .option("user", "myuser") \
  .option("password", "mypass") \
  .option("query", 'CREATE TABLE product (c1 real) ') \
  .load()

Ошибка получения:
Caused by: com.amazon.support.exceptions.ErrorException: [Amazon](500310) Invalid operation: syntax error at or near "CREATE"

Я пробовал с двойными кавычками, какхорошо.

Как создать таблицу в Redshift с помощью Spark с указанием типа данных?

Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...