Spark scala - Количество выходных строк после операции вставки SQL

Question

У меня простой вопрос, который я не могу реализовать.Допустим, у меня есть следующий код:

...
val df = sparkSession.sql("INSERT OVERWRITE TABLE $DB_NAME.$TABLE_NAME PARTITION (partition) SELECT test, 1 as partition")
val rowCount = df.rdd.count()
printf(s"$rowCount rows has been inserted")
...

Как получить количество строк, вставленных с помощью spark sql?

Answer 1

До и после оператора вставки возьмите количество доступных строк и вычтите его после вставки, вы получите количество, если строки вставлены.