Обновите информационный фрейм Spark, чтобы заполнить данные другого фрейма.

Question

У меня есть 2 кадра данных.Я хочу взять разные значения одного столбца и связать его со всеми строками другого кадра данных.Например, -

Фрейм данных 1: df1 содержит

scenarioId
---------------
 101
 102
 103

Фрейм данных 2: df2 содержит столбцы

trades
-------------------------------------
isin price 
ax11 111
re32 909
erre 445

Ожидаемый результат

trades
----------------
isin price scenarioid
ax11 111   101
re32 909   101
erre 445   101
ax11 111   102
re32 909   102
erre 445   102
ax11 111   103
re32 909   103
erre 445   103

Примечаниечто у меня нет возможности объединить 2 кадра данных в общий столбец.Пожалуйста, предложите.

Answer 1

Вам нужен cross join или декартово произведение:

val result = df1.crossJoin(df2)

, хотя я не рекомендую его, так как объем данных очень быстро растет.Вы получите все возможные пары - элементы декартового произведения (число будет числом строк в df1 раз количество строк в df2).