Spark SQL Выберите с несколькими столбцами, а затем присоединиться?

Question

Я не знаком со свечой sql, но хочу выделить несколько столбцов в этом запросе, а затем объединить 2 кадра. Столбец первичного ключа - ID от df.

val count1 = df.select(size($"col1").as("col1Name"))
val count2 = df.select(size($"col2").as("col2Name"))

Так что в конечном итоге я хочу таблицу с ID, count1 and count2. Как мне этого добиться?

Answer 1

Я считаю, что вы пытаетесь считать 2 столбца из df. Вы можете сделать это, используя ниже

df.registerTempTable("temp_table")

//Below Is an example how you can use SparkSql

val newdf = spark.sql("select id,count(col1) as count1,count(col2) as count2 from temp_table group by id")

//You can use this dataframe further for operations

newdf.show(false)