Сортировать Spark Dataframe с двумя столбцами в различном порядке

Question

Допустим, у меня есть такая таблица:

A,B
2,6
1,2
1,3
1,5
2,3

Я хочу отсортировать ее по возрастанию для столбца A, но в рамках этого я хочу отсортировать ее по убыванию столбца * 1005.* вот так:

A,B
1,5
1,3
1,2
2,6
2,3

Я пытался использовать orderBy("A", desc("B")), но выдает ошибку.

Как мне написать запрос с использованием фрейма данных в Spark 2.0?

Answer 1

desc - это правильный метод для использования, однако, это не тот метод в классе Columnn.Поэтому его следует применять следующим образом:

df.orderBy($"A", $"B".desc)

$"B".desc возвращает столбец, поэтому значение "A" также должно быть изменено на $"A" (или col("A"), если имплические эффекты не импортированы).

Answer 2

Использовать метод столбца desc , как показано ниже:

val df = Seq(
  (2,6), (1,2), (1,3), (1,5), (2,3)
).toDF("A", "B")

df.orderBy($"A", $"B".desc).show
// +---+---+
// |  A|  B|
// +---+---+
// |  1|  5|
// |  1|  3|
// |  1|  2|
// |  2|  6|
// |  2|  3|
// +---+---+