Использование Featuretools для агрегирования по времени и времени суток - PullRequest
Новая
       109

Использование Featuretools для агрегирования по времени и времени суток

0 голосов
/ 07 февраля 2019

Мне интересно, есть ли способ вычислить все те же переменные, которые я уже использую, для глубокого синтеза признаков (то есть, подсчета, суммы, среднего значения и т. Д.) Для разных временных отрезков в течение дня?

Т.е. подсчет утренних событий (часов 0-12) как отдельной переменной от вечерних событий (13-24).

Кроме того, в том же духе, что было бы легче всего получитьсчитает день недели, день месяца, день года и т. д. Пользовательские агрегатные примитивы?

1 Ответ

0 голосов
/ 07 февраля 2019

Да, это возможно.Сначала давайте сгенерируем случайные данные, а затем я расскажу, как 

import featuretools as ft
import pandas as pd
import numpy as np

# make some random data
n = 100
events_df = pd.DataFrame({
    "id" : range(n),
    "customer_id": np.random.choice(["a", "b", "c"], n),
    "timestamp": pd.date_range("Jan 1, 2019", freq="1h", periods=n),
    "amount": np.random.rand(n) * 100 
})

def to_part_of_day(x):
    if x < 12:
        return "morning"
    elif x < 18:
        return "afternoon"
    else:
        return "evening"

events_df["time_of_day"] = events_df["timestamp"].dt.hour.apply(to_part_of_day)

events_df

Первое, что мы хотим сделать, это добавить новый столбец для сегмента, для которого мы хотим вычислить объекты для 

def to_part_of_day(x):
    if x < 12:
        return "morning"
    elif x < 18:
        return "afternoon"
    else:
        return "evening"

events_df["time_of_day"] = events_df["timestamp"].dt.hour.apply(to_part_of_day)

теперь у нас есть такой фрейм данных 

   id customer_id           timestamp     amount time_of_day
0   0           a 2019-01-01 00:00:00  44.713802     morning
1   1           c 2019-01-01 01:00:00  58.776476     morning
2   2           a 2019-01-01 02:00:00  94.671566     morning
3   3           a 2019-01-01 03:00:00  39.271852     morning
4   4           a 2019-01-01 04:00:00  40.773290     morning
5   5           c 2019-01-01 05:00:00  19.815855     morning
6   6           a 2019-01-01 06:00:00  62.457129     morning
7   7           b 2019-01-01 07:00:00  95.114636     morning
8   8           b 2019-01-01 08:00:00  37.824668     morning
9   9           a 2019-01-01 09:00:00  46.502904     morning

Далее, давайте загрузим его в наш набор сущностей 

es = ft.EntitySet()
es.entity_from_dataframe(entity_id="events",
                         time_index="timestamp",
                         dataframe=events_df)

es.normalize_entity(new_entity_id="customers", index="customer_id", base_entity_id="events")

es.plot()

enter image description here

Теперь мы готовы установить сегменты, для которых мы хотим создать агрегации, используя interesting_values

es["events"]["time_of_day"].interesting_values = ["morning", "afternoon", "evening"]

Затем мы можем запустить DFS и разместить примитивы агрегации, которые мы хотим сделать, для каждого сегмента впараметр where_primitives 

fm, fl = ft.dfs(target_entity="customers",
                entityset=es,
                agg_primitives=["count", "mean", "sum"],
                trans_primitives=[],
                where_primitives=["count", "mean", "sum"])

fm

В результирующей матрице объектов теперь вы можете видеть, что у нас есть агрегации за утро, день и вечер 

             COUNT(events)  MEAN(events.amount)  SUM(events.amount)  COUNT(events WHERE time_of_day = afternoon)  COUNT(events WHERE time_of_day = evening)  COUNT(events WHERE time_of_day = morning)  MEAN(events.amount WHERE time_of_day = afternoon)  MEAN(events.amount WHERE time_of_day = evening)  MEAN(events.amount WHERE time_of_day = morning)  SUM(events.amount WHERE time_of_day = afternoon)  SUM(events.amount WHERE time_of_day = evening)  SUM(events.amount WHERE time_of_day = morning)
customer_id                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  
a                       37            49.753630         1840.884300                                           12                                          7                                         18                                          35.098923                                        45.861881                                        61.036892                                        421.187073                                      321.033164                                     1098.664063
b                       30            51.241484         1537.244522                                            3                                         10                                         17                                          45.140800                                        46.170996                                        55.300715                                        135.422399                                      461.709963                                      940.112160
c                       33            39.563222         1305.586314                                            9                                          7                                         17                                          50.129136                                        34.593936                                        36.015679                                        451.162220                                      242.157549                                      612.266545
...