Есть ли в любом случае напрямую запросить базу данных oracle с предложением where вместо фильтрации по всему фрейму данных в spark-sql 2.x

Question

Я использую spark-sql.2.3.1 и подключаюсь к oracleDB, чтобы получить фрейм данных

Code : >'    ora_df
                      .option("schema",schema)
                      .option("partitionColumn", partitionColumn)
                      .option("dbtable", query)
                      .load()
       > '

выпуск: Я хотел бы отфильтровать таблицу с датой. Так есть ли в любом случае, чтобы передать запрос с предложением динамически строить где?

Answer 1

Примерно так:

 val dataframe_mysql_4 = spark.read.jdbc(jdbcUrl, s"""(select DISTINCT type from family where type like '${val1}' ) f """, connectionProperties)  

Настройте свою строку подключения, а затем с помощью установки переменной val1 вы можете добавить предложение where, которое использует это значение. Обратите внимание на ф.