Pyspark: добавление значений фрейма данных к каждому отдельному значению в указанном столбце

Question

Мне нужно добавить значения фрейма данных к каждому отдельному значению в указанном столбце

, например,

df1:

+----+----+
|col1|col2|
+----+----+
|   A| 100|
|   B|  70|
|   C|  50|
+----+----+

df2:

+----+----+
|col3|col4|
+----+----+
|jose|   1|
|  li|   2|
| liz|   3|
+----+----+

Полученный df должен выглядеть следующим образом:

+----+----+----+----+
|col1|col2|col3|col4|
+----+----+----+----+
|   A| 100|jose|   1|
|   B|  70|jose|   1|
|   C|  50|jose|   1|
|   A| 100|  li|   2|
|   B|  70|  li|   2|
|   C|  50|  li|   2|
|   A| 100| liz|   3|
|   B|  70| liz|   3|
|   C|  50| liz|   3|
+----+----+----+----+

Answer 1

Вы запрашиваете crossJoin на самом деле -

df = df1.crossJoin(df2)
df.show()
+----+----+----+----+
|col1|col2|col3|col4|
+----+----+----+----+
|   A| 100|jose|   1|
|   A| 100|  li|   2|
|   A| 100| liz|   3|
|   B|  70|jose|   1|
|   B|  70|  li|   2|
|   B|  70| liz|   3|
|   C|  50|jose|   1|
|   C|  50|  li|   2|
|   C|  50| liz|   3|
+----+----+----+----+