У меня есть 2 кадра данных: источник и цель, и в которых хранится счет
+------------+--------------+---------------+-------------+----------------+-------------------+
|RECORD_COUNT|COUNT_CLAIM_ID|COUNT_POLICY_ID|COUNT_LINE_CD|COUNT_POLICY_NBR|COUNT_STAT_STATE_CD|
+------------+--------------+---------------+-------------+----------------+-------------------+
|76048498 |76048498 |76048498 |74184832 |76048498 |74098869 |
+------------+--------------+---------------+-------------+----------------+----
---------------+
Я хочу, чтобы в операторе было указано, что счетчик совпадает, иначе счетчик не совпадает.
Я пытался
val columns = source.schema.fields.map(_.name)
val selectiveDifferences = columns.map(col => source.select(col).except(targetDF.select(col)))
if(selectiveDifferences.map(diff => {if(diff.count > 0) diff.show})>0)
{println("Data not matched")}
else
{println("Data matched 100%")}