Sparksql используя scala

Question

val scc = spark.read.jdbc(url,table,properties)
val d = scc.createOrReplaceTempView(“k”)    

spark.sql(“select * from k”).show()              

если вы видите здесь @ 1, мы читаем полную таблицу, а затем @ 3 мы выбираем результаты на основе желаемого запроса.Здесь чтение полной таблицы, а затем выполнение запросов занимает много времени.Разве мы не можем выполнить наш запрос при установлении соединения?Пожалуйста, помогите мне, если у вас есть какие-либо предварительные знания об этом.

Answer 1

Проверьте это.

var dbTable =
        "(select emp_no, concat_ws(' ', first_name, last_name) as full_name from employees) as employees_name";

Dataset<Row> jdbcDF = 
        sparkSession.read().jdbc(CONNECTION_URL, dbTable,connectionProperties);