У меня есть 2 разных фрейма данных в искре, и я хотел бы связать их столбцы, чтобы сформировать уникальный фрейм данных.Как я могу сделать это с помощью искры Scala? Спасибо
Звучит так, как будто вы хотите объединить два кадра данных.
Чтобы сделать это, вам нужен ключ, с которым вы будете связывать (соединять) столбцы строки / строк с включенными столбцами другой строки / строк.Вы можете найти больше информации здесь: https://www.waitingforcode.com/apache-spark-sql/join-types-spark-sql/read
myDataframe .join(otherDataframe, col("x") === col("y"))