Как агрегировать временные ряды в Python? - PullRequest
Новая
       20

Как агрегировать временные ряды в Python?

9 голосов
/ 20 октября 2010

У меня есть два разных временных ряда с частично перекрывающимися временными метками: 

import scikits.timeseries as ts
from datetime import datetime 
a = ts.time_series([1,2,3], dates=[datetime(2010,10,20), datetime(2010,10,21), datetime(2010,10,23)], freq='D')
b = ts.time_series([4,5,6], dates=[datetime(2010,10,20), datetime(2010,10,22), datetime(2010,10,23)], freq='D')

, который представляет следующие данные: 

Day:   20. 21. 22. 23.
  a:    1   2   -   3
  b:    4   -   5   6

Я хотел бы рассчитать средневзвешенное значение для каждого дня с коэффициентами a(0.3) и b (0.7), игнорируя пропущенные значения: 

Day 20.: (0.3 * 1 + 0.7 * 4) / (0.3 + 0.7) = 3.1 / 1.  = 3.1
Day 21.: (0.3 * 2          ) / (0.3      ) = 0.6 / 0.3 = 2
Day 22.: (          0.7 * 5) / (      0.7) = 3.5 / 0.7 = 5
Day 23.: (0.3 * 3 + 0.7 * 6) / (0.3 + 0.7) = 3.1 / 1.  = 5.1

, когда я впервые пытаюсь выровнять эти временные ряды: 

a1, b1 = ts.aligned(a, b)

Я получаю правильно замаскированные временные ряды: 

timeseries([1 2 -- 3],
  dates = [20-Oct-2010 ... 23-Oct-2010],
  freq  = D)

timeseries([4 -- 5 6],
  dates = [20-Oct-2010 ... 23-Oct-2010],
  freq  = D)

но когда я делаю a1 * 0.3 + b1 * 0.7, он игнорирует значения, которые присутствуют только в одной временной серии: 

timeseries([3.1 -- -- 5.1],
   dates = [20-Oct-2010 ... 23-Oct-2010],
   freq  = D)

Что я должен сделать, чтобы получить ожидаемого? 

timeseries([3.1 2. 5. 5.1],
   dates = [20-Oct-2010 ... 23-Oct-2010],
   freq  = D)

РЕДАКТИРОВАТЬ : Ответ должен быть применим также к более чем двум начальным временным сериям с разными весами и разными пропущенными значениями.

Так что если у нас есть четыре временных ряда с весами T1 (0,1),T2 (0,2), T3 (0,3) и T4 (0,4), их веса при заданной отметке времени будут: 

            |  T1 |  T2 |  T3 |  T4 |
weight      | 0.1 | 0.2 | 0.3 | 0.4 |
-------------------------------------
all present | 10% | 20% | 30% | 40% |
T1 missing  |     | 22% | 33% | 45% |
T1,T2 miss. |     |     | 43% | 57% |
T4 missing  | 17% | 33% | 50% |     |
etc.

1 Ответ

3 голосов
/ 20 октября 2010

Я попробовал и нашел это: 

aWgt = 0.3
bWgt = 0.7

print (np.where(a1.mask, 0., a1.data * aWgt) +
       np.where(b1.mask, 0., b1.data * bWgt)) / (np.where(a1.mask, 0., aWgt) +
                                                 np.where(b1.mask, 0., bWgt))

# array([ 3.1,  2. ,  5. ,  5.1])

Это применимо к редактируемому вопросу с более чем одной начальной серией времени Но, надеюсь, кто-то найдет лучшее.

РЕДАКТИРОВАТЬ: И это моя функция: 

def weightedAvg(weightedTimeseries):
    sumA = np.sum((np.where(ts.mask, 0., ts.data * weight) for ts, weight in weightedTimeseries), axis=0)
    sumB = np.sum((np.where(ts.mask, 0., weight) for ts, weight in weightedTimeseries), axis=0)
    return np.divide(sumA, sumB)

weightedAvg(((a1, 0.3), (bb, 0.7)))
# array([ 3.1,  2. ,  5. ,  5.1])

Работает для любого количества временных рядов; -)

...