Spark SQL между оператором

Question

Как найти зарплату в пределах диапазона?Вот мой код данных Spark SQL для определения зарплаты между 10000 и 20000:

empData.where($"Salary" > 10000 && $"Salary" < 20000).orderBy($"Salary".desc).show()

Я считаю, что должно быть альтернативное решение с использованием between.Как я могу использовать between подход?

Answer 1

Я считаю, что есть альтернативное решение между ними.

Просто так:

empData.where($"Salary".between(10000, 20000))

Answer 2

Если вы хотите использовать между ними, вы можете использовать sparkSQL и запускать логику в качестве запроса.Например,

empData.createOrReplaceTempView("empDataTempTable")

val filteredData = spark.sql("select * from empDataTempTable where salary between 10000 and 20000 order by salary desc")

 filteredData.show()

Для случайных поисков в столбце и процессе фильтрации sparkSQL и DataFrame дают почти одинаковые результаты производительности.