Сегментирование набора данных - PullRequest
Новая
       4

Сегментирование набора данных

0 голосов
/ 15 ноября 2018

Учитывая набор данных CSV с датами и значениями, я хочу попытаться создать новый набор данных CSV, в котором выходные данные состоят из точек, где график изменился: увеличился, уменьшился или не изменился вообще. Есть следующий примериз данных и желаемого результата.(CSV идет к 1999 году) 

Date        Value
07/04/2014  137209.0
04/04/2014  137639.0
03/04/2014  137876.0
02/04/2014  137795.0
01/04/2014  137623.0
31/03/2014  137589.0
28/03/2014  137826.0
27/03/2014  138114.0
26/03/2014  138129.0
25/03/2014  137945.0

должно быть: 

StartDate   EndDate   StartValue   EndValue
03/04/2014  07/04/2014  137876      137209
31/03/2014  03/04/2014  137589      137876
27/03/2014  31/03/2014  138114      137589
26/03/2014  27/03/2014  138129      138114
25/03/2014  26/03/2014  137945      138129

Ответы [ 2 ]

0 голосов
/ 15 ноября 2018

Вы можете использовать sign из numpy и применить его к diff в столбце «Значение», чтобы увидеть, где меняется тренд графика, а затем создать добавочное значение для каждой группы тренда с помощью * 1004. * и cumsum: 

ser_sign = np.sign(df.Value.diff(-1).ffill())
ser_gr = ser_gr =(ser_sign.shift() != ser_sign).cumsum()

Теперь вы знаете группы, чтобы получить начало и конец каждой из них, вы можете использовать groupby на ser_gr, join на last (после shift значение в ser_gr так как последний из каждой группы является первым из следующего) и first. 

df_new = (df.groupby(ser_gr.shift().bfill(),as_index=False).last()
            .join(df.groupby(ser_gr,as_index=False).first(),lsuffix='_start',rsuffix='_end'))

print (df_new)
   Date_start  Value_start    Date_end  Value_end
0  03/04/2014     137876.0  07/04/2014   137209.0
1  31/03/2014     137589.0  03/04/2014   137876.0
2  26/03/2014     138129.0  31/03/2014   137589.0
3  25/03/2014     137945.0  26/03/2014   138129.0

Теперь, если вам нужно изменить порядок столбцов и переименовать их, вы можете сделать это с помощью: 

df_new.columns = ['StartDate', 'StartValue', 'EndDate', 'EndValue']
df_new = df_new[['StartDate','EndDate','StartValue','EndValue']]

print (df_new)
    StartDate     EndDate  StartValue  EndValue
0  03/04/2014  07/04/2014    137876.0  137209.0
1  31/03/2014  03/04/2014    137589.0  137876.0
2  26/03/2014  31/03/2014    138129.0  137589.0
3  25/03/2014  26/03/2014    137945.0  138129.0

Эти две операции могут быть выполнены одновременно с созданием df_new с использованием rename.

0 голосов
/ 15 ноября 2018

Я пытаюсь решить эту проблему, используя самописный класс Stretch, который управляет разделением ваших данных при их добавлении: 

from enum import Enum

class Direction(Enum):
    NA = None 
    Up = 1 
    Stagnant = 0 
    Down = -1

    @staticmethod
    def getDir(a,b):
        """Gets two numbers and returns a Direction result by comparing them."""
        if a < b:   return Direction.Up
        elif a > b: return Direction.Down
        else:       return Direction.Stagnant

class Stretch:
    """Accepts tuples of (insignificant, float). Adds tuples to internal data struct
    while they have the same trend (down, up, stagnant). See add() for details."""

    def __init__(self,dp=None):
        self.data = []
        if dp:
            self.data.append(dp)
        self.dir = Direction.NA  


    def add(self,dp):
        """Adds dp to self if it follows a given trend (or it holds less then 2 datapts).
        Returns (True,None) if the datapoint was added to this Stretch instance,
        returns (False, new_stretch) if it broke the trend. The new_stretch
        contains the new last value of the self.data as well as the new dp."""
        if not self.data:
            self.data.append(dp)
            return True, None
        if len(self.data) == 1:
            self.dir = Direction.getDir(self.data[-1][1],dp[1]) 
            self.data.append(dp)
            return True, None
        if Direction.getDir(self.data[-1][1],dp[1]) == self.dir:
            self.data.append(dp)
            return True, None
        else:
            k = Stretch(self.data[-1])
            k.add(dp)
            return False, k

Демонстрационный файл: 

with open("d.txt","w") as w:
    w.write( """Date        Value
07/04/2014  137209.0
04/04/2014  137639.0
03/04/2014  137876.0
02/04/2014  137795.0
01/04/2014  137623.0
31/03/2014  137589.0
28/03/2014  137826.0
27/03/2014  138114.0
26/03/2014  138129.0
25/03/2014  137945.0
""" )

Использование: 

data_stretches = []

with open("d.txt") as r:
    S = Stretch()
    for line in r:
        try:
            date,value = line.strip().split()
            value = float(value)
        except (IndexError, ValueError) as e:
            print("Illegal line: '{}'".format(line))
            continue

        b, newstretch = S.add( (date,value) )
        if not b:
            data_stretches.append(S)
            S = newstretch
data_stretches.append(S)

for s in data_stretches:
    data = s.data
    direc = s.dir


    print(data[0][0], data[-1][0], data[0][1],data[-1][-1], s.dir)

Вывод: 

# EndDate  StartDate  EndV     StartV   (reversed b/c I inverted dates)  
07/04/2014 03/04/2014 137209.0 137876.0 Direction.Up
03/04/2014 31/03/2014 137876.0 137589.0 Direction.Down
31/03/2014 26/03/2014 137589.0 138129.0 Direction.Up
26/03/2014 25/03/2014 138129.0 137945.0 Direction.Down

Помимо беспорядка направления, основанного на "когда и когда" вы оцениваете данные, мой вывод отличается от вашего ... потому чтоВы разделяете равномерную последовательность на две части без очевидной причины: 

27/03/2014  31/03/2014  138114      137589   # further down
26/03/2014  27/03/2014  138129      138114   # down
...