Изменить данные в DICT

Question

Помогите, пожалуйста, разобраться, как изменить фреймы данных в словаре.

Давайте рассмотрим простейший случай, создадим два фрейма данных и создадим из них dict.

dates = pd.date_range('20130101',periods=6)
df1 =pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD'))
df2 =pd.DataFrame(np.random.randn(6,4),index=dates,columns=list('ABCD'))
DICTOR={}
DICTOR['d1']=df1
DICTOR['d2']=df2
m=DICTOR

Теперь я хочу исключить строки из DataFrames внутри dict m, например строки со значениями в столбцах B, которые равны нулю или отрицательны.

Я попробовал следующий код:

for name,df in m.items():
     for index, row in df.iterrows():
         if df.at[index,'B']<0:
             df.drop(index,axis=0)

или

for name,df in m.items():
    df=df[df.B>0]

но это не работает.

Полагаю, моя проблема в изменчивых / неизменных объектах, но я не уверен.

Answer 1

Измените ваш цикл на это:

for name,df in m.items():
     for index, row in df.iterrows():
         if df.at[index,'B']<0:
             df.drop(index,axis=0, inplace=True)

Answer 2

Если все ваши кадры данных имеют согласованные индексы, вы должны хранить их вместе с MultiIndex

df = pd.concat(m)

df

                      A         B         C         D
d1 2013-01-01 -0.701856  1.804441 -1.224499 -0.997452
   2013-01-02 -1.122829 -0.375963  1.476828  1.254910
   2013-01-03 -0.330781 -0.692166  1.352655 -1.296063
   2013-01-04 -0.352034  0.200128  0.411482  1.058941
   2013-01-05 -0.103345  0.119615  0.251884 -0.108792
   2013-01-06  0.690312 -1.115858 -0.271362 -0.872862
d2 2013-01-01  1.449789  0.144008 -0.445732 -0.356491
   2013-01-02  0.254142  0.102233 -0.456786  1.505599
   2013-01-03 -1.636609  0.141300 -1.458500  0.088640
   2013-01-04  0.015575  1.170128  0.229888 -0.273040
   2013-01-05  0.995011 -1.476076 -0.345353 -0.343009
   2013-01-06  0.060094  0.610622  0.192916 -1.411557

В этот момент вы можете использовать многочисленные методы фильтрации

df.query('B > 0')

                      A         B         C         D
d1 2013-01-01 -0.701856  1.804441 -1.224499 -0.997452
   2013-01-04 -0.352034  0.200128  0.411482  1.058941
   2013-01-05 -0.103345  0.119615  0.251884 -0.108792
d2 2013-01-01  1.449789  0.144008 -0.445732 -0.356491
   2013-01-02  0.254142  0.102233 -0.456786  1.505599
   2013-01-03 -1.636609  0.141300 -1.458500  0.088640
   2013-01-04  0.015575  1.170128  0.229888 -0.273040
   2013-01-06  0.060094  0.610622  0.192916 -1.411557

Answer 3

Вам необходимо присвоить значения ключам словаря во время итерации:

for name, df in m.items():
    m[name] = df[df['B'] > 0]

В противном случае вы постоянно переопределяете переменную df и нигде не сохраняете ее.