Как отбросить несколько столбцов в spark с scala с некоторым регулярным выражением?

Question

Скажем, у меня есть некоторые имена столбцов, которые заканчиваются на '_undo', Теперь мне нужно удалить эти столбцы. Теперь вместо того, чтобы бросать по одному или сохранять их в списке перед тем, как бросить, могу ли я бросить на один go?

df.drop(//drop at one go for those columns ending with _undo)

Answer 1

val customDF = df.select(df.columns.filter(colName => checkname(colName)) .map(colName => new Column(colName)): _*)

, где checkname - простая пользовательская функция, которая возвращает colname, если совпадает, и null, если нет. Используйте свой шаблон для проверки внутри этой функции.

def checkname () : [return type] = {
   return [expr]
}

Answer 2

А как насчет этого?

df.drop(df.columns.filter(c => "regexp".r.pattern.matcher(c).matches): _*)

или

df.drop(df.columns.filter(_.endsWith("_undo")): _*)