Как объединить строчные значения столбцов в искровой DF

Question

 val df_final = Data1
        .join(broadcast(df),
          Seq(lower(col("NAME")),  lower(col("TYPE"))),
          "left")

Приведенный выше код вызывает следующую ошибку.

<console>:65: error: overloaded method value join with alternatives:
  (right: org.apache.spark.sql.Dataset[_],joinExprs: org.apache.spark.sql.Column,joinType: String)org.apache.spark.sql.DataFrame <and>
  (right: org.apache.spark.sql.Dataset[_],usingColumns: Seq[String],joinType: String)org.apache.spark.sql.DataFrame
 cannot be applied to (org.apache.spark.sql.Dataset[org.apache.spark.sql.Row], Seq[org.apache.spark.sql.Column], String)
               .join(broadcast(df),
            ^

Answer 1

Вы не можете использовать встроенные функции внутри условие последовательность, вместо этого вы можете сделать следующее

 val df_final = Data1
        .join(broadcast(df),
          lower(col("NAME")) === lower(col("TYPE")),
          "left")