Как найти две последовательные строки в кадре данных с одинаковым значением (строка) для столбца и добавить больше строк между ними?

Question

Как найти две последовательные строки в кадре данных с одинаковым значением (строка) для столбца и добавить больше строк между ними? Фрейм данных имеет индекс временных рядов.

Например: если индекс для 2 последовательных строк с одинаковым значением для столбца A - 5:30 и 18:00, я хочу добавить больше строк с шагом в 1 минуту между двумя строками, т.е. 5:01 вечера, 5:02 вечера ..... 5:59 вечера.

Answer 1

Использование DataFrame.asfreq:

df = pd.DataFrame({'A':[1,1,2,3,3,4]}, index=pd.date_range(periods=6, 
                                        start='12:00', end='12:30'))
print(df)
                     A
2019-05-09 12:00:00  1
2019-05-09 12:06:00  1
2019-05-09 12:12:00  2
2019-05-09 12:18:00  3
2019-05-09 12:24:00  3
2019-05-09 12:30:00  4

---

df = df.asfreq('min')
print (df)
                       A
2019-05-09 12:00:00  1.0
2019-05-09 12:01:00  NaN
2019-05-09 12:02:00  NaN
2019-05-09 12:03:00  NaN
2019-05-09 12:04:00  NaN
2019-05-09 12:05:00  NaN
2019-05-09 12:06:00  1.0
2019-05-09 12:07:00  NaN
2019-05-09 12:08:00  NaN
2019-05-09 12:09:00  NaN
2019-05-09 12:10:00  NaN
2019-05-09 12:11:00  NaN
2019-05-09 12:12:00  2.0
2019-05-09 12:13:00  NaN
2019-05-09 12:14:00  NaN
2019-05-09 12:15:00  NaN
2019-05-09 12:16:00  NaN
2019-05-09 12:17:00  NaN
2019-05-09 12:18:00  3.0
2019-05-09 12:19:00  NaN
2019-05-09 12:20:00  NaN
2019-05-09 12:21:00  NaN
2019-05-09 12:22:00  NaN
2019-05-09 12:23:00  NaN
2019-05-09 12:24:00  3.0
2019-05-09 12:25:00  NaN
2019-05-09 12:26:00  NaN
2019-05-09 12:27:00  NaN
2019-05-09 12:28:00  NaN
2019-05-09 12:29:00  NaN
2019-05-09 12:30:00  4.0

Answer 2

Вот один из способов:

import pandas as pd
import numpy as np

# say this is your df:
df = pd.DataFrame(index=pd.date_range(periods=6, 
                                      start='12:00', end='12:30'))
df['A'] = [1,1,2,3,3,4]
print(df)

#                         A
#2019-05-09 12:00:00      1
#2019-05-09 12:06:00      1
#2019-05-09 12:12:00      2
#2019-05-09 12:18:00      3
#2019-05-09 12:24:00      3
#2019-05-09 12:30:00      4

# find positions with same value
ends_idx = np.arange(df.shape[0])[
    (df['A'].diff() == 0).values]

print(ends_idx)
# [1 4]

# create index with additional time stamps
old_index = df.index
new_index = sorted(np.unique(np.concatenate([
    pd.date_range(start=old_index[i-1], 
                  end=old_index[i], freq='min').values
    for i in ends_idx
] + [old_index.values])))

# create a new dataframe
new_df = pd.DataFrame(index=new_index)

# assign a default value
new_df['A'] = np.nan

# assign values from old dataframe
new_df.loc[old_index, 'A'] = df['A']
print(new_df)

#                       A
#2019-05-09 12:00:00  1.0
#2019-05-09 12:01:00  NaN
#2019-05-09 12:02:00  NaN
#2019-05-09 12:03:00  NaN
#2019-05-09 12:04:00  NaN
#2019-05-09 12:05:00  NaN
#2019-05-09 12:06:00  1.0
#2019-05-09 12:12:00  2.0
#2019-05-09 12:18:00  3.0
#2019-05-09 12:19:00  NaN
#2019-05-09 12:20:00  NaN
#2019-05-09 12:21:00  NaN
#2019-05-09 12:22:00  NaN
#2019-05-09 12:23:00  NaN
#2019-05-09 12:24:00  3.0
#2019-05-09 12:30:00  4.0

edit: для строковых значений в A вы можете заменить часть, в которой мы находим позиции:

# find positions with same value
n = df.shape[0]
# place holders:
ends_idx = np.arange(n) 
same = np.array([False] * n)
# compare values explicitly
same[1:] = df['A'][1:].values == df['A'][:-1].values 
ends_idx = ends_idx[same]