Как присоединиться к карте DataFrames? Скала Спарк - PullRequest
0 голосов
/ 02 июля 2018

У меня есть карта DataFrames:

val myMap = Map(
    "name1" -> df1,
    "name2" -> df2,
    "name3" -> df3
)

Я хочу объединить эти DataFrames в списке общих столбцов:

val commonColumns = Seq("id", "time")

И какое заявление я могу написать, чтобы получить эффект ниже для любой длины карты df?

val desiredDf = df1.join(df2, commonColumns).join(df3, commonColumns)

1 Ответ

0 голосов
/ 02 июля 2018

Как насчет этого:

val desiredDf = myMap.values.reduce((l, r) => {
  l.join(r, commonColumns)
})
...