Как сравнить 2 значения данных и, если они совпадают, сказать, что проверка прошла успешно, иначе не проверена - PullRequest
0 голосов
/ 21 октября 2019

У меня есть 2 кадра данных: источник и цель, и в которых хранится счет

+------------+--------------+---------------+-------------+----------------+-------------------+
|RECORD_COUNT|COUNT_CLAIM_ID|COUNT_POLICY_ID|COUNT_LINE_CD|COUNT_POLICY_NBR|COUNT_STAT_STATE_CD|
+------------+--------------+---------------+-------------+----------------+-------------------+

|76048498    |76048498      |76048498       |74184832     |76048498        |74098869           |
+------------+--------------+---------------+-------------+----------------+----
---------------+

Я хочу, чтобы в операторе было указано, что счетчик совпадает, иначе счетчик не совпадает.

Я пытался

val columns = source.schema.fields.map(_.name)

val selectiveDifferences = columns.map(col => source.select(col).except(targetDF.select(col)))

if(selectiveDifferences.map(diff => {if(diff.count > 0) diff.show})>0)
  {println("Data not matched")}
else
  {println("Data matched 100%")}
Добро пожаловать на сайт PullRequest, где вы можете задавать вопросы и получать ответы от других членов сообщества.
...