Reverse Group By функция в pyspark?

Question

Пример данных:

+-----------+------------+---------+
|City       |Continent   |    Price|
+-----------+------------+---------+
|     A     |  Asia      |      100| 
|     B     |  Asia      |      110|
|     C     |  Africa    |       60|
|     D     |  Europe    |      170|
|     E     |  Europe    |       90|
|     F     |  Africa    |      100|
+-----------+------------+---------+

Вывод: Для второго столбца, который я знаю, мы можем просто использовать

df.groupby("Continent").agg({'Price':'avg'})

Но как мы можем вычислить третий столбец ? Третий столбец группирует города, которые не принадлежат каждому континенту, а затем рассчитывает среднюю цену.

ожидаемый результат

    ------------+--------------+----------------------------------------------+
    |Continent  | Average Price|Average Price for cities not in this continent|
    +-----------+--------------+----------------------------------------------+
    | Asia      |           105|          105                                              |
    | Africa    |            80|          117.5                               |
    | Europe    |           130|          92.5                                |
    +-----------+--------------+----------------------------------------------+

Answer 1

    >>> from pyspark.sql.functions import col,avg
    >>> df.show()
    +----+---------+-----+
    |City|Continent|Price|
    +----+---------+-----+
    |   A|     Asia|  100|
    |   B|     Asia|  110|
    |   C|   Africa|   60|
    |   D|   Europe|  170|
    |   E|   Europe|   90|
    |   F|   Africa|  100|
    +----+---------+-----+

 >>> df1 = df.alias("a").join(df.alias("b"), col("a.Continent") != col("b.Continent"),"left").select(col("a.*"), col("b.price").alias("b_price"))   
 >>> df1.groupBy("Continent").agg(avg(col("Price")).alias("Average Price"), avg(col("b_price")).alias("Average Price for cities not in this continent")).show()
    +---------+-------------+----------------------------------------------+
    |Continent|Average Price|Average Price for cities not in this continent|
    +---------+-------------+----------------------------------------------+
    |   Europe|        130.0|                                          92.5|
    |   Africa|         80.0|                                         117.5|
    |     Asia|        105.0|                                         105.0|
    +---------+-------------+----------------------------------------------+