Сумма MySQL по окну, содержащему нулевое значение, возвращает нулевое - PullRequest
Новая
       7

Сумма MySQL по окну, содержащему нулевое значение, возвращает нулевое

0 голосов
/ 18 января 2019

Я пытаюсь получить сумму дохода за последние 3 месяца (без учета текущей строки) для каждого клиента. Минимальный пример с текущей попыткой в ​​Databricks: 

cols = ['Client','Month','Revenue']
df_pd = pd.DataFrame([['A',201701,100],
                   ['A',201702,101],
                   ['A',201703,102],
                   ['A',201704,103],
                   ['A',201705,104],
                   ['B',201701,201],
                   ['B',201702,np.nan],
                   ['B',201703,203],
                   ['B',201704,204],
                   ['B',201705,205],
                   ['B',201706,206],
                   ['B',201707,207]                
                  ])
df_pd.columns = cols

spark_df = spark.createDataFrame(df_pd)
spark_df.createOrReplaceTempView('df_sql')

df_out = sqlContext.sql("""
select *, (sum(ifnull(Revenue,0)) over (partition by Client
  order by Client,Month
  rows between 3 preceding and 1 preceding)) as Total_Sum3
  from df_sql
  """)
df_out.show()

+------+------+-------+----------+
|Client| Month|Revenue|Total_Sum3|
+------+------+-------+----------+
|     A|201701|  100.0|      null|
|     A|201702|  101.0|     100.0|
|     A|201703|  102.0|     201.0|
|     A|201704|  103.0|     303.0|
|     A|201705|  104.0|     306.0|
|     B|201701|  201.0|      null|
|     B|201702|    NaN|     201.0|
|     B|201703|  203.0|       NaN|
|     B|201704|  204.0|       NaN|
|     B|201705|  205.0|       NaN|
|     B|201706|  206.0|     612.0|
|     B|201707|  207.0|     615.0|
+------+------+-------+----------+

Как видите, если в 3-месячном окне где-либо существует нулевое значение, возвращается нулевое значение. Я хотел бы рассматривать нули как 0, следовательно, попытка ifnull, но это, похоже, не работает. Я также попытался использовать case, чтобы изменить NULL на 0, но не повезло.

Ответы [ 2 ]

0 голосов
/ 19 января 2019

Это Apache Spark, мой плохой! (Я работаю в Databricks, и я думал, что это MySQL под капотом). Слишком поздно менять название?

@ Бармар, вы правы в том, что IFNULL() не рассматривает NaN как null. Мне удалось выяснить исправление благодаря @ user6910411 отсюда: SO link . Я должен был изменить numy NaNs, чтобы зажечь нули. Правильный код после создания образца df_pd: 

spark_df = spark.createDataFrame(df_pd)

from pyspark.sql.functions import isnan, col, when

#this converts all NaNs in numeric columns to null:
spark_df = spark_df.select([
    when(~isnan(c), col(c)).alias(c) if t in ("double", "float") else c 
    for c, t in spark_df.dtypes])

spark_df.createOrReplaceTempView('df_sql')

df_out = sqlContext.sql("""
select *, (sum(ifnull(Revenue,0)) over (partition by Client
  order by Client,Month
  rows between 3 preceding and 1 preceding)) as Total_Sum3
  from df_sql order by Client,Month
  """)
df_out.show()

, который затем дает желаемое: 

+------+------+-------+----------+
|Client| Month|Revenue|Total_Sum3|
+------+------+-------+----------+
|     A|201701|  100.0|      null|
|     A|201702|  101.0|     100.0|
|     A|201703|  102.0|     201.0|
|     A|201704|  103.0|     303.0|
|     A|201705|  104.0|     306.0|
|     B|201701|  201.0|      null|
|     B|201702|   null|     201.0|
|     B|201703|  203.0|     201.0|
|     B|201704|  204.0|     404.0|
|     B|201705|  205.0|     407.0|
|     B|201706|  206.0|     612.0|
|     B|201707|  207.0|     615.0|
+------+------+-------+----------+

Является ли sqlContext лучшим способом для достижения этой цели или было бы лучше / элегантнее добиться того же результата с помощью pyspark.sql.window?

0 голосов
/ 18 января 2019

Всего coalesce вне суммы: 

df_out = sqlContext.sql("""
  select *, coalesce(sum(Revenue) over (partition by Client
  order by Client,Month
  rows between 3 preceding and 1 preceding)), 0) as Total_Sum3
  from df_sql
 """)
...