Я использую Spark SQL 2.1,
Я могу читать данные из mysql / oracle как временное представление в Spark SQL:
val url = "jdbc:mysql://localhost:3306/db1"
val user = "root"
val pass = "root"
val sql =
s"""
CREATE OR REPLACE TEMPORARY VIEW foobar
USING org.apache.spark.sql.jdbc
OPTIONS (url '$url', dbtable '(select id, name, now() from db1.company) as x', user '$user', password '$pass', numPartitions '3')
""".stripMargin(' ')
val session = SparkSession.builder().appName("SparkSQL003").master("local[4]").getOrCreate()
session.sql(sql)
У меня вопрос: поддерживает ли Spark SQL 2.1 запись временного представления или таблицу Hive обратно в oracle / mysql с чистым sql