Как посчитать количество столбцов в таблице в Spark SQL (Databricks)?

Question

У меня проблемы с написанием инструкции для подсчета количества столбцов в Spark SQL. Я пытался использовать информационную схему и использовать table.columns, но оба не работают в Spark SQL. У кого-нибудь есть предложения?

Answer 1

Ниже приведена пара строк, которые можно добавить для подсчета количества столбцов в Spark SQL,

Pyspark Solution:

df_cont = spark.creatDataframe() // use right funtion to create dataframe based on source 
print("Number of columns:"+str(len(df_cont.columns)))

Scala Решение:

val df_cont = spark.creatDataframe() // use right funtion to create dataframe based on source 
val length = df_cont.columns.length
println("Number of columns:"+length)