Как написать программу Scala для поиска семантического соответствия между атрибутами в двух таблицах

Question

Я работаю над методами предварительной обработки, в которых я концентрируюсь на семантическом сопоставлении атрибутов двух таблиц.Как написать Scala-программу для такого семантического сопоставления?

Представьте, что у меня две таблицы A и B

A имеет атрибуты (employee_id, DOB, salary)

B имеет атрибуты (emp_id, data_of_birth, sal)

Мне нужно найти наиболее подходящие атрибуты в двух таблицах, чтобы в моей выходной таблице не было повторяющихся столбцов (пример: emp_id и employee_id должны быть найдены аналогично исчитается одиноким).

Answer 1

Коллекция Scala имеет пересечение, которое получит общие элементы двух наборов.

ex: collecationA.intersect(collectionB) однако если вы исходите из spark api, сравнение уровня схемы мы можем выполнить (так же, как пересечь), оператор

Надеюсь, это поможет !!