У меня есть простой вопрос, как записать разделы набора данных вместе с счетчиками в java.
в scala мы делаем, как показано ниже
//count by partition_id
import org.apache.spark.sql.functions.spark_partition_id
logger.info("" + df.groupBy(spark_partition_id).count.show())
В java я пробовал вот так:
//count by partition_id
logger.info("" + _df.groupBy(spark_partition_id()).count());
Но это не дает никакой информации.Я пробовал это
logger.info( df.groupBy(spark_partition_id().alias("partition_id")).count().orderBy("partition_id").show());
, но это также бесполезно ..
больше по сравнению с show (), возвращая void.поэтому я попытался с showString (), но он ожидает еще два аргумента.
Итак, как именно мне нужно получить подсчет по разделам и как записать это в Java?