Как объединить два фрейма данных вместе - PullRequest
Новая
       6

Как объединить два фрейма данных вместе

1 голос
/ 19 июня 2020
• 1000 может рассчитать% для каждого сегмента.

Вы знаете, какое соединение я буду использовать?

Ответы [ 2 ]

3 голосов
/ 19 июня 2020

Используйте .crossJoin, тогда вы получите сумму из b, добавленную ко всем строкам df a, затем вы можете рассчитать процент.

Example:

a.crossJoin(b).show()
#+------+----------+----------+
#|bucket|sum(total)|sum(total)|
#+------+----------+----------+
#|     c|         4|        10|
#|     b|         3|        10|
#|     a|         3|        10|
#+------+----------+----------+

Вместо CrossJoin вы можете попробовать использовать оконные функции, как указано ниже. 

df.show()
#+-----+------+
#|total|bucket|
#+-----+------+
#|    1|     a|
#|    2|     a|
#|    3|     b|
#|    4|     c|
#+-----+------+

from pyspark.sql.functions import *
from pyspark.sql import *
from pyspark.sql.window import *
import sys

w=Window.partitionBy(col("bucket"))
w1=Window.orderBy(lit("1")).rowsBetween(-sys.maxsize,sys.maxsize)

df.withColumn("sum_b",sum(col("total")).over(w)).withColumn("sum_c",sum(col("total")).over(w1)).show()
#+-----+------+-----+-----+
#|total|bucket|sum_b|sum_c|
#+-----+------+-----+-----+
#|    4|     c|    4|   10|
#|    3|     b|    3|   10|
#|    1|     a|    3|   10|
#|    2|     a|    3|   10|
#+-----+------+-----+-----+
0 голосов
/ 19 июня 2020

Вы также можете использовать collect (), так как вы вернете драйверу простой результат 

from pyspark.sql import SparkSession
from pyspark.sql.functions import *
spark = SparkSession.builder.getOrCreate()
df = spark.sql("select 'A' as bucket, 5 as value union all select 'B' as bucket, 8 as value")
df_total = spark.sql("select 9 as total")
df=df.withColumn('total',lit(df_total.collect()[0]['total']))

+------+-----+-----+
|bucket|value|total|
+------+-----+-----+
|     A|    5|    9|
|     B|    8|    9|
+------+-----+-----+

df= df.withColumn('pourcentage', col('total') / col('value'))

+------+-----+-----+-----------+
|bucket|value|total|pourcentage|
+------+-----+-----+-----------+
|     A|    5|    9|        1.8|
|     B|    8|    9|      1.125|
+------+-----+-----+-----------+
...