Это работает в Spark:
df = spark.read \
.format('jdbc') \
.option("url", "jdbc:redshift://redshift-cluster-xyz.redshift.amazonaws.com:5439/dev") \
.option("user", "myuser") \
.option("password", "mypass") \
.option("query", "select distinct(tablename) from pg_table_def where schemaname = 'public' ") \
.load().show()
Это не удается:
spark.read \
.format('jdbc') \
.option("url", "jdbc:redshift://redshift-cluster-xyz.redshift.amazonaws.com:5439/dev") \
.option("user", "myuser") \
.option("password", "mypass") \
.option("query", 'CREATE TABLE product (c1 real) ') \
.load()
Ошибка получения:
Caused by: com.amazon.support.exceptions.ErrorException: [Amazon](500310) Invalid operation: syntax error at or near "CREATE"
Я пробовал с двойными кавычками, какхорошо.
Как создать таблицу в Redshift с помощью Spark с указанием типа данных?