функция замены джокера

Question

У меня есть два набора данных, и я хотел бы объединить таблицы, если элемент столбца содержит элемент другого.Как я могу сделать?

val df = df1.join(df2, 
    df1.col("Complete Name").equalTo(df2.col("Name")))

В

val df = df1.join(df2, 
    df1.col("Complete Name").ifContain(df2.col("Name")))

Answer 1

Что делать, если вы делаете что-то подобное

{
df1.join(df2, df1.col("Complete Name").ifContain(df2.col("Name")), "left_anti)
.union(df2.join(df1, df1.col("Complete Name").ifContain(df2.col("Name")), "left_anti))
}

Не проверял, хотя.

Answer 2

Как насчет:

Dataset<Row> d1 = datasetFromJsonStrings(listOf("{\n" +
    "  \"key\": \"name\",\n" +
    "  \"origin\": \"left\"\n" +
"}"));

Dataset<Row> d2 = datasetFromJsonStrings(listOf("{\n" +
    "  \"key\": \"complete name\",\n" +
    "  \"origin\": \"right\"\n" +
"}"));

// [name,left,complete name,right]
List<Row> rows = d1.join(d2, d2.col("key").contains(d1.col("key"))).collectAsList();

Примечание: Я сделал это на Java из-за удобства, потому что вся моя кодовая база на Java, а не Scala.