При желании примените фильтр к dataframe spark / scala

Question

У меня есть потребность, где я хочу при желании фильтровать данные.

def test(df: DataFrame, filterExpr: filter: Option[String] = None) : DataFrame = {
if(filter.isDefined()) df.filter(filterExpr.get) else df
}

Я не хочу иметь блок if else снаружи.Могу ли я применить фильтр и позволить df позаботиться о том, определен он или нет?

Answer 1

Вы можете использовать это:

filterExpr.map(df.filter).getOrElse(df)