Создание объектов на основе времени отключения в FeatureTools - PullRequest
Новая
       12

Создание объектов на основе времени отключения в FeatureTools

0 голосов
/ 08 декабря 2018

Я использую FeatureTools, и мне нужно создать функцию, которая использует время отсечки для его расчета.

Мой набор сущностей состоит из клиентской таблицы и таблицы подписки (у нее есть больше, но для вопроса только этонеобходимо): 

import featuretools as ft
import pandas as pd


client_table = pd.DataFrame({'client_id': (1,2,3), 
                             'start_date': (dt.date(2015,1,1),dt.date(2017,10,15),dt.date(2011,1,10))})

subscription_table = pd.DataFrame({'client_id': (1,3,1,2), 
                             'start_plan_date': (dt.date(2015,1,1),dt.date(2011,1,10), dt.date(2018,2,1),dt.date(2017,10,15)), 
                             'end_plan_date':(dt.date(2018,2,1),dt.date(2019,1,10), dt.date(2021,2,1),dt.date(2019,10,15))})

клиентская таблица 

client_id   start_date
0   1       2015-01-01
1   2       2017-10-15
2   3       2011-01-10

таблица подтипов 

subscription_id client_id   start_plan_date end_plan_date
0   1   1   2015-01-01      2018-02-01
1   2   3   2011-01-10      2019-01-10
2   3   1   2018-02-01      2021-02-01
3   4   2   2017-10-15      2019-10-15

Я создал набор сущностей, используя client_id в качестве ключа и установив start_date в качестве time_index 

es = ft.EntitySet()
es = es.entity_from_dataframe(entity_id="client", 
                              dataframe=client_table,
                              index="client_id",
                              time_index="start_date")

es = es.entity_from_dataframe(entity_id="subscription", 
                              dataframe=subscription_table,
                              index="subscription_id",
                              time_index="start_plan_date", 
                              variable_types={"client_id": ft.variable_types.Index,
                                             "end_plan_date": ft.variable_types.Datetime})

relation= ft.Relationship(es["client"]["client_id"],es["subscription"]["client_id"])

es = es.add_relationship(relation)
print(es)

Out: 

Entityset: None
  Entities:
    subscription [Rows: 4, Columns: 4]
    client [Rows: 3, Columns: 2]
  Relationships:
    subscription.client_id -> client.client_id

Теперь мне нужно создать функцию, которая оценивает время между временем отключения (т. Е. 01/01/2018) и ближайшим значением end_plan_date для каждого клиента.В алгебраической форме вычисление должно быть

time_remaining_in_plan = max (subscription.end_plan_date - cutoff_time)

Также мне нужно рассчитать количество времени с момента запуска клиента:

time_since_start= cutoff_time - client.start_date

В моем примере ожидаемый результат для этих функций должен выглядеть следующим образом (я предполагаю разницу во времени в днях, но это могут быть и месяцы, также я использую диапазон времени для отсечкираз): 

client_id cutoff_time time_remaining_in_plan  time_since_start
0   3     2018-10-31  71                      2851
1   3     2018-11-30  41                      2881
2   1     2018-10-31  824                     1399
3   1     2018-11-30  794                     1429
4   2     2018-10-31  349                     381
5   2     2018-11-30  319                     411

Есть ли способ использовать FeatureTools для создания пользовательских примитивов (агрегации или преобразования) или начальных функций, которые могут генерировать этот результат ??

Спасибо !!

1 Ответ

0 голосов
/ 10 декабря 2018

Это можно сделать с помощью пользовательских примитивов, которые используют параметр use_calc_time.Этот параметр настроит примитив так, что время отсечения будет передано ему во время вычисления.

В вашем случае нам нужно определить два примитива 

from featuretools.primitives import make_trans_primitive
from featuretools.variable_types import Datetime, Numeric


def time_until(array, time):
    diff = pd.DatetimeIndex(array) - time
    return diff.days


TimeUntil = make_trans_primitive(function=time_until,
                                 input_types=[Datetime],
                                 return_type=Numeric,
                                 uses_calc_time=True,
                                 description="Calculates time until the cutoff time in days",
                                 name="time_until")


def time_since(array, time):
    diff = time - pd.DatetimeIndex(array)
    return diff.days


TimeSince = make_trans_primitive(function=time_since,
                                 input_types=[Datetime],
                                 return_type=Numeric,
                                 uses_calc_time=True,
                                 description="Calculates time since the cutoff time in days",
                                 name="time_since")

Затем мы можем использовать примитивы при вызове ft.dfs

cutoff_times = pd.DataFrame({
    "client_id": [1, 1, 2, 2, 3, 3],
    "cutoff_time": pd.to_datetime([dt.date(2018,10,31), dt.date(2018,11,30)]*3)
    })

fm, fl = ft.dfs(entityset=es,
                target_entity="client",
                cutoff_time=cutoff_times,
                agg_primitives=["max"],
                trans_primitives=[TimeUntil, TimeSince],
                cutoff_time_in_index=True)


# these columns correspond to time_remaining_in_plan and time_since_start
fm = fm[["MAX(subscription.TIME_UNTIL(end_plan_date))", "TIME_SINCE(start_date)"]]

, это возвращает 

                      MAX(subscription.TIME_UNTIL(end_plan_date))  TIME_SINCE(start_date)
client_id time                                                                           
1         2018-10-31                                         -272                    1399
2         2018-10-31                                          349                     381
3         2018-10-31                                           71                    2851
1         2018-11-30                                         -302                    1429
2         2018-11-30                                          319                     411
3         2018-11-30                                           41                    2881

Это соответствует результату, который вы ищете в своем ответе, за исключением time_remaining_in_plan для идентификатора клиента 1. Я дважды проверил числа, найденные Feauturetools, и я считаю, что они подходят для этого набора данных.

...