Заполните список последним значением, если промежуток даты больше чем N секунд

Question

Предположим, у меня есть список data:

import numpy as np
import datetime

np.random.seed(0)
aux = [10,30,50,60,70,110,120]
base = datetime.datetime(2018, 1, 1, 22, 34, 20)
data = [[base + datetime.timedelta(seconds=s), 
         round(np.random.rand(),3)] for s in aux]

Это возвращает:

data == 

[[datetime.datetime(2018, 1, 1, 22, 34, 30), 0.549],
 [datetime.datetime(2018, 1, 1, 22, 34, 50), 0.715],
 [datetime.datetime(2018, 1, 1, 22, 35, 10), 0.603],
 [datetime.datetime(2018, 1, 1, 22, 35, 20), 0.545],
 [datetime.datetime(2018, 1, 1, 22, 35, 30), 0.424],
 [datetime.datetime(2018, 1, 1, 22, 36, 10), 0.646],
 [datetime.datetime(2018, 1, 1, 22, 36, 20), 0.438]]

Что я хочу сделать, это заполнить пробелы, где пробелы в датах большечем 10 секунд, используя последнее предыдущее значение.Для этого примера вывод должен быть:

desired_output ==

[[datetime.datetime(2018, 1, 1, 22, 34, 30), 0.549],
 [datetime.datetime(2018, 1, 1, 22, 34, 40), 0.549],
 [datetime.datetime(2018, 1, 1, 22, 34, 50), 0.715],
 [datetime.datetime(2018, 1, 1, 22, 35), 0.715],
 [datetime.datetime(2018, 1, 1, 22, 35, 10), 0.603],
 [datetime.datetime(2018, 1, 1, 22, 35, 20), 0.545],
 [datetime.datetime(2018, 1, 1, 22, 35, 30), 0.424],
 [datetime.datetime(2018, 1, 1, 22, 35, 40), 0.424],
 [datetime.datetime(2018, 1, 1, 22, 35, 50), 0.424],
 [datetime.datetime(2018, 1, 1, 22, 36), 0.424],
 [datetime.datetime(2018, 1, 1, 22, 36, 10), 0.646],
 [datetime.datetime(2018, 1, 1, 22, 36, 20), 0.438]]

Я не могу придумать какой-нибудь умный способ сделать это. Все даты разделены кратными 10 секундам. Есть идеи?

Answer 1

Вариант 1: с пандами

Если вы открыты для использования Панды , это делает операции переиндексации такими простыми:

>>> import pandas as pd
>>> df = pd.DataFrame(data, columns=['date', 'value'])
>>> ridx = df.set_index('date').asfreq('10s').ffill().reset_index()
>>> ridx
                  date  value
0  2018-01-01 22:34:30  0.549
1  2018-01-01 22:34:40  0.549
2  2018-01-01 22:34:50  0.715
3  2018-01-01 22:35:00  0.715
4  2018-01-01 22:35:10  0.603
5  2018-01-01 22:35:20  0.545
6  2018-01-01 22:35:30  0.424
7  2018-01-01 22:35:40  0.424
8  2018-01-01 22:35:50  0.424
9  2018-01-01 22:36:00  0.424
10 2018-01-01 22:36:10  0.646
11 2018-01-01 22:36:20  0.438

.asfreq('10s') будетзаполните недостающие 10-секундные интервалы..ffill() означает пропущенные значения «вперед-заполнить» последним допустимым значением.

Чтобы вернуться к имеющейся у вас структуре данных (хотя обратите внимание, что элементы будут состоять из 2-х кортежей, а несписки длиной 2):

>>> native_ridx = list(zip(ridx['date'].dt.to_pydatetime().tolist(), ridx['value']))
>>> from pprint import pprint
>>> pprint(native_ridx[:5])
[(datetime.datetime(2018, 1, 1, 22, 34, 30), 0.549),
 (datetime.datetime(2018, 1, 1, 22, 34, 40), 0.549),
 (datetime.datetime(2018, 1, 1, 22, 34, 50), 0.715),
 (datetime.datetime(2018, 1, 1, 22, 35), 0.715),
 (datetime.datetime(2018, 1, 1, 22, 35, 10), 0.603)]

Для подтверждения:

>>> assert all(tuple(i) == j for i, j in zip(desired_output, native_ridx))

---

Вариант 2: Native Python

import datetime

def make_daterange(
    start: datetime.datetime,
    end: datetime.datetime,
    incr=datetime.timedelta(seconds=10)
):
    yield start
    while start < end:
        start += incr
        yield start

def reindex_ffill(data: list, incr=datetime.timedelta(seconds=10)):
    dates, _ = zip(*data)
    data = dict(data)
    start, end = min(dates), max(dates)
    daterng = make_daterange(start, end, incr)
    # If initial value is not valid, the element at [0][0] will be NaN
    lastvalid = np.nan
    get = data.get
    for date in daterng:
        value = get(date)
        if value:
            yield date, value
            lastvalid = value
        else:
            yield date, lastvalid

Пример:

>>> pynative_ridx = list(reindex_ffill(data))
>>> assert all(tuple(i) == j for i, j in zip(desired_output, pynative_ridx))