Изменение формы данных с использованием дат как значений столбца

Question

Я пытаюсь изменить форму данных, используя pandas, и мне было трудно преобразовать их в правильный формат. Грубо говоря, данные выглядят так ? Есть ли лучший формат для его преобразования?

В конечном итоге я хотел бы сделать некоторые групповые сводки по данным, например, количество раз, когда каждый шаг выполнялся, например,

reshaped_df.groupby(['STAGE','STATUS'])['DATE'].count()

STAGE       STATUS   
design      completed    2
            started      2
production  completed    1
            started      2
Name: DATE, dtype: int64

Спасибо

• Данные фактически содержат множество столбцов даты начала / окончания для разных этапов производственного конвейера

Answer 1

преобразовать столбцы в нижний регистр и разделить на '_' ... настройка expand = True преобразует его в MultiIndex:

df.columns = df.columns.str.lower().str.split('_',expand=True)
df.columns = df.columns.set_names(['stage','status'])

print(df)

product              design             production
NaN       start     complete    start      complete
0   1   2020-01-05  2020-01-22  2020-02-07  NaT
1   2   2020-01-17  2020-03-04  2020-03-15  2020-04-28

Следующая фаза комбинация стек , значений сортировки , droplevel , сброса индекса и переиндексации :

res = (df
       .stack([0,1])
       .sort_values()
       .droplevel(0)
       .reset_index(name='Date')
       .reindex(['Date','stage','status'],axis=1)
      )

res


      DATE      STAGE       STATUS
0   2020-01-05  design      start
1   2020-01-17  design      start
2   2020-01-22  design      complete
3   2020-02-07  production  start
4   2020-03-04  design      complete
5   2020-03-15  production  start
6   2020-04-28  production  complete

если вас интересуют только группировки и агрегация, тогда вы можете пропустить длинный путь и просто взлететь после стека:

df.stack([0,1]).groupby(['stage','status']).count()


  stage       status  
design      complete    2
            start       2
production  complete    1
            start       2
Name: Date, dtype: int64

Answer 2

Мы можем сделать pd.wide_to_long с stack и изменить порядок df

s=pd.wide_to_long(df,['DESIGN','PRODUCTION'],i='PRODUCT',j='STATUS',suffix='\w+',sep='_').\
     stack(dropna=False).reset_index(level=[1,2]).sort_values('level_2').\
       reset_index(drop=True).rename(columns={'level_2':'STAGE',0:'DATE'})
     STATUS       STAGE       DATE
0     START      DESIGN 2020-01-05
1     START      DESIGN 2020-01-17
2  COMPLETE      DESIGN 2020-01-22
3  COMPLETE      DESIGN 2020-03-04
4     START  PRODUCTION 2020-02-07
5     START  PRODUCTION 2020-03-15
6  COMPLETE  PRODUCTION        NaT
7  COMPLETE  PRODUCTION 2020-04-28

Answer 3

MELT IT !!!

import pandas as pd
import numpy as np

df = pd.DataFrame({
    'PRODUCT':['1','2'],
    'DESIGN_START':[pd.Timestamp('2020-01-05'),pd.Timestamp('2020-01-17')],
    'DESIGN_COMPLETE':[pd.Timestamp('2020-01-22'),pd.Timestamp('2020-03-04')],
    'PRODUCTION_START':[pd.Timestamp('2020-02-07'),pd.Timestamp('2020-03-15')],
    'PRODUCTION_COMPLETE':[np.nan,pd.Timestamp('2020-04-28')]
})

df = df.melt(id_vars=['PRODUCT'])
df_split = df['variable'].str.split('_', n=1, expand=True)
df['STAGE'] = df_split[0]
df['STATUS'] = df_split[1]
df.drop(columns=['variable'], inplace=True)
df = df.rename(columns={'value': 'DATE'})

print(df)

Вывод:

  PRODUCT       DATE       STAGE    STATUS
0       1 2020-01-05      DESIGN     START
1       2 2020-01-17      DESIGN     START
2       1 2020-01-22      DESIGN  COMPLETE
3       2 2020-03-04      DESIGN  COMPLETE
4       1 2020-02-07  PRODUCTION     START
5       2 2020-03-15  PRODUCTION     START
6       1        NaT  PRODUCTION  COMPLETE
7       2 2020-04-28  PRODUCTION  COMPLETE

MWAHAHAHAHAHAHA !!! ПОЧУВСТВУЙТЕ СИЛУ РАСПЛАВА !!!

Расплав в основном непивот

Answer 4

Удалить PRODUCT, преобразовать столбцы в MultiIndex и сложить их:

new_cols = pd.MultiIndex.from_product([['design', 'production'], ['started', 'completed']], names=['STAGE', 'STATUS'])
df.drop(columns='PRODUCT') \
    .set_axis(new_cols, axis=1) \
    .stack([0,1]) \
    .groupby(['STAGE', 'STATUS']) \
    .count()