Spark: переписать .filter ("count> 1") без строкового выражения

Question

В Java есть фрагмент кода:

Dataset<Row> dataset = ...
...
dataset.groupBy("id").count().filter("count > 1");

Есть ли способ установить условие "count > 1", используя некоторые методы данных, например, filter(count().gt(1))?

Answer 1

Функция «col» имеет методы для сравнения, их можно использовать:

import static org.apache.spark.sql.functions.*;
ds.filter(col("count").$greater(lit(1)))