Как устранить недостающие данные - PullRequest
Новая
       6

Как устранить недостающие данные

0 голосов
/ 03 июля 2018

введите описание изображения здесь Я хочу удалить отсутствующее значение из столбца ret и dlret в файле с именем crsp_data. Вот мой код: 

crsp_data_ret=crsp_data['ret'].dropna()
crsp_data_dlret=crsp_data['dlret'].dropna()
crsp_data['retadj']=(1+crsp_data['ret'])*(1+crsp_data['dlret'])-1

Но это дает мне следующую ошибку: 

KeyError                                  Traceback (most recent call last)
/anaconda3/lib/python3.6/site-packages/pandas/core/indexes/base.py in get_loc(self, key, method, tolerance)
   3062             try:
-> 3063                 return self._engine.get_loc(key)
   3064             except KeyError:

pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()

pandas/_libs/index.pyx in pandas._libs.index.IndexEngine.get_loc()

pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()

pandas/_libs/hashtable_class_helper.pxi in pandas._libs.hashtable.PyObjectHashTable.get_item()

KeyError: 'dlret'

Кто-нибудь может мне помочь, указав, где я поступил неправильно? Я ценю вашу помощь!

В ретрансляции есть NAN 

crsp_data['retadj']=(1+crsp_data['ret'])*(1+crsp_data['dlret_x'])-1
crsp_data_retadj=crsp_data.dropna(subset=['retadj'])
crsp_data['retadj'].head(50)

0 NaN 1 -0,248538 2 0,428202 3 -0,086215 4 -0,125488 5 0.030425 6 -0,203367 7 -0,611781 8 -0.051796 9 -0,328013 10 0.065550 11 -0,413984 12 -0,343434 13 0.052632 14 -0.420102 15 -0,089628 16 -0,036559 17 NaN 18 NaN 19 0.039082 20 0,480844 21 0.025029 22 0.056209 23 -0.013069 24 -0,060239 25 NaN 26 0,033846 27 NaN 28 0.121294 29 0.185520 30 -0,035714 31 NaN

1 Ответ

0 голосов
/ 03 июля 2018

Проблема: 

crsp_data_ret=crsp_data['ret']
crsp_data_dlret=crsp_data['dlret']

возврат Series, поэтому невозможно выбрать позже, Series.dropna используется: 

crsp_data_ret=crsp_data['ret'].dropna()
crsp_data_dlret=crsp_data['dlret'].dropna()

Решение удалить ['ret'] и ['dlret']: 

crsp_data['retadj']=(1+crsp_data)*(1+crsp_data)-1

Другим решением является использование DataFrame.dropna, поэтому возвращается DataFrame s: 

crsp_data_ret=crsp_data.dropna(subset=['ret'])
crsp_data_dlret=crsp_data.dropna(subset=['dlret'])


crsp_data['retadj']=(1+crsp_data['ret'])*(1+crsp_data['dlret'])-1

EDIT:

Если необходимо игнорировать NaN s, одним из возможных решений является использование add с параметром fill_value=0, затем получите: 

crsp_data = pd.DataFrame({'ret':[1,2,'C', 5, np.nan],
                   'dlret':[10, np.nan, 7, 1, np.nan]})

crsp_data['ret'] = pd.to_numeric(crsp_data['ret'], errors='coerce')

crsp_data['retadj1']=(1+crsp_data['ret'])*(1+crsp_data['dlret'])-1

crsp_data['retadj2']= crsp_data['ret'].add(1, fill_value=0).mul(crsp_data['dlret'].add(1, fill_value=0)).sub(1)
print (crsp_data)

   ret  dlret  retadj1  retadj2
0  1.0   10.0     21.0     21.0
1  2.0    NaN      NaN      2.0
2  NaN    7.0      NaN      7.0
3  5.0    1.0     11.0     11.0
4  NaN    NaN      NaN      0.0

Деталь 

print (crsp_data['ret'].add(1, fill_value=0))
0    2.0
1    3.0
2    1.0
3    6.0
4    1.0
Name: ret, dtype: float64

print (crsp_data['dlret'].add(1, fill_value=0).sub(1))
0    10.0
1     0.0
2     7.0
3     1.0
4     0.0
Name: dlret, dtype: float64
...