Экстраполировать строки данных - PullRequest
Новая
       94

Экстраполировать строки данных

0 голосов
/ 31 мая 2018

У меня есть df как 

d = {'col1': [np.nan, np.nan, 1],
     'col2': [1, 1, 2],
     'col3': [2, 2, 3],
     'col4': [np.nan, 3, np.nan]}
df = pd.DataFrame(data=d)

и я хочу экстраполировать строки, чтобы заполнить любой трейлинг nan s.

Ожидаемый результат: 

d2 = {'col1': [np.nan, np.nan, 1],
      'col2': [1, 1, 2],
      'col3': [2, 2, 3],
      'col4': [3, 3, 4]}
df2 = pd.DataFrame(data=d2)

РЕДАКТИРОВАТЬ: Наклон отличается для каждой строки.Я пробовал df.interpolate(method='linear'), но это дает мне единый тренд для трейлинга nan s

1 Ответ

0 голосов
/ 31 мая 2018

pandas.interpolate , который в основном является оболочкой для интерполяционных функций scipy, имеет много ключевых слов, которые позволяют адаптировать вашу интерполяцию.Вы можете использовать spline: 

d = {'col1': [np.nan, np.nan, 1, 5, 9, np.nan],
     'col2': [1, 1, 2, 5, 8, np.nan],
     'col3': [2, 2, 3, 4, 5, np.nan],
     'col4': [np.nan, 3, np.nan, 5, 6, np.nan]}
df = pd.DataFrame(data=d)

df = df.interpolate(method = "spline", order = 1, limit_direction = "both")
print(df)

Вывод: 

   col1  col2  col3  col4
0  -7.0   1.0   2.0   2.0
1  -3.0   1.0   2.0   3.0
2   1.0   2.0   3.0   4.0
3   5.0   5.0   4.0   5.0
4   9.0   8.0   5.0   6.0
5  13.0   8.8   5.6   7.0

Редактировать:
Возможно, в пандах есть более элегантные решения, но вот одинспособ решения проблемы: 

d = {'col1 Mar': [np.nan, np.nan, 1],
     'col2 Jun': [1, 1, 2],
     'col3 Sep': [2, 2, 3],
     'col4 Dec': [np.nan, 3, np.nan]}
df = pd.DataFrame(data=d)
print(df)
#store temporarily the column index
col_index = df.columns
#transcribe month into a number that reflects the time distance
df.columns = [3, 6, 9, 12]

#interpolate over rows
df = df.interpolate(method = "spline", order = 1,  limit_direction = "both", axis = 1, downcast = "infer")
#assign back the original index
df.columns = col_index
print(df)

Вывод: 

   col1 Mar   col2 Jun  col3 Sep  col4 Dec
0       NaN          1         2       NaN
1       NaN          1         2       3.0
2       1.0          2         3       NaN
   col1 Mar   col2 Jun  col3 Sep  col4 Dec
0         0          1         2         3
1         0          1         2         3
2         1          2         3         4

Если вы предоставляете индекс столбца в качестве объекта даты и времени, вы, вероятно, можете использовать индекс столбца напрямую, но я неуверен в этом.

Редактировать 2: Как и ожидалось, вы можете также использовать объекты даты и времени в качестве имен столбцов для интерполяции:

CSV-файл 

Mar 2014, Jun 2014, Sep 2014, Mar 2015
nan,        1,        2,      nan
nan,        1,        2,      4
1,          2,        3,      nan

Код: 

#read CSV file
df = pd.read_csv("test.txt", sep = r',\s*')
#convert column names to datetime objects
df.columns = pd.to_datetime(df.columns)
#interpolate over rows
df = df.interpolate(method = "spline", order = 1,  limit_direction = "both", axis = 1, downcast = "infer")
print(df)

Вывод: 

   2014-03-01  2014-06-01  2014-09-01  2015-03-01
0    0.000000         1.0         2.0    3.967391
1   -0.016457         1.0         2.0    4.000000
2    1.000000         2.0         3.0    4.967391

Результаты теперь не хороши, больше целых чисел, потому что количество дней в трех месяцах отличается.

...