Удалить несколько столбцов из спрей-фрейма

Question

Я пытаюсь удалить несколько столбцов из кадра данных.Я последовал примеру на https://stackoverflow.com/a/39818645/10836338, но он не работает для меня.Я использую спарк 2.4.0

Вот что я сейчас делаю.Это работает, но мне было интересно, есть ли лучший способ сделать это.

val colsToRemove = Seq("colA", "colB", "colC", etc) 

var filterdDF = df
 for(i <- 0 until colsToRemove.size){
    filterdDF = filterdDF.drop(colsToRemove(i))
}

Answer 1

you can try this...

val colsToRemove = Seq ("emp_id", "emp_city")

val filteredDF = ds1.select(ds1.columns.filter(colName => !colsToRemove.contains(colName)).map(colname => new Column(colname)).toList: _*)

Answer 2

val filterdDF = df.drop(colsToRemove:_*)