Как агрегировать по столбцу при группировании по нескольким значениям столбцов с помощью CoPPer? - PullRequest
Новая
       14

Как агрегировать по столбцу при группировании по нескольким значениям столбцов с помощью CoPPer?

0 голосов
/ 29 июня 2018

У меня есть набор данных с текущим запасом для некоторых продуктов: 

+--------------+-------+
| Product      | Stock |
+--------------+-------+
| chocolate    |   300 |
| coal         |    70 |
| orange juice |   400 |
+--------------+-------+

и продажи для каждого продукта за годы текущего месяца и следующего месяца в другом наборе данных: 

+--------------+------+-------+-------+
| Product      | Year | Month | Sales |
+--------------+------+-------+-------+
| chocolate    | 2017 |    05 |    55 |
| chocolate    | 2017 |    04 |   250 |
| chocolate    | 2016 |    05 |    70 |
| chocolate    | 2016 |    04 |   200 |
|     |        |   |  |     | |     | |
| coal         | 2017 |    05 |    40 |
| coal         | 2017 |    04 |    30 |
| coal         | 2016 |    05 |    50 |
| coal         | 2016 |    04 |    20 |
|     |        |   |  |     | |     | |
| orange juice | 2017 |    05 |   400 |
| orange juice | 2017 |    04 |   350 |
| orange juice | 2016 |    05 |   400 |
| orange juice | 2016 |    04 |   300 |
+--------------+--------------+-------+

Я хочу рассчитать запас, который мне нужно будет заказать на следующий месяц, рассчитав ожидаемые продажи за текущий месяц и следующий месяц, используя следующую формулу: 

ExpectedSales = max(salesMaxCurrentMonth) + max(salesMaxNextMonth)

Заказы тогда будут 

Orders = ExpectedSales * (1 + margin) - Stock

Где маржа составляет, например, 10%.

Я попытался сгруппировать по нескольким столбцам, используя GroupBy, как показано ниже, но, похоже, он агрегируется по Stock вместо Product: 

salesDataset
    .groupBy(Columns.col("Month"), Columns.col(“Product”))
    .agg(Columns.max(“Sales”).as(“SalesMaxPerMonth”))
    .agg(Columns.sum(“SalesMaxPerMonth”).as(SalesPeriod))
    .withColumn(
        “SalesExpected”, 
        Columns.col(“SalesPeriod”).multiply(Columns.literal(1 + margin)))
    .withColumn(
        “Orders”,
        Columns.col(“SalesExpected”).minus(Columns.col(“Stock”)))
    .withColumn(
        “Orders”,
        Columns.col(“Orders”).map((Double a) -> a >= 0 ? a: 0))
    .doNotAggregateAbove()
    .toCellSet()
    .show();

1 Ответ

0 голосов
/ 29 июня 2018

Вы получили правильную логику с точки зрения агрегирования, но есть и другой способ построения CellSet, где вы предоставляете карту для описания местоположения запроса, который ее генерирует. 

salesDataset
    .groupBy(Columns.col("Month"), Columns.col(“Product”))
    .agg(Columns.max(“Sales”).as(“SalesMaxPerMonth”))
    .agg(Columns.sum(“SalesMaxPerMonth”).as(SalesPeriod))
    .withColumn(
        “SalesExpected”, 
        Columns.col(“SalesPeriod”).multiply(Columns.literal(1 + margin)))
    .withColumn(“Orders”, Columns.col(“SalesExpected”).minus(Columns.col(“Stock”)))
    .withColumn(“Orders”, Columns.col(“Orders”).map((Double a) -> a >= 0 ? a: 0))
    .doNotAggregateAbove()
    .toCellSet(
        Empty.<String, Object>map()
        .put(“Product”,null)
        .put(“Stock”, null))
    .show();

Где null в местоположении представляет собой подстановочный знак *.

...