Как заменить значение с плавающей точкой NaN в пандах? - PullRequest
Новая
       24

Как заменить значение с плавающей точкой NaN в пандах?

0 голосов
/ 22 ноября 2018

Мне известно о функции замены в пандах: https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.replace.html

Но я провел этот простой тест, и он не работает, как ожидалось, когда я пытаюсь заменить значение с плавающей запятой: 

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.randn(50, 4), columns=list('ABCD'))
print(df.head(n=1))

      A         B        C         D
0  1.437202  1.919894 -1.40674 -0.316737

df = df.replace(1.437202, np.nan)
print(df.head(n=1))

      A         B        C         D
0  1.437202  1.919894 -1.40674 -0.316737

Как видите, [[0], [0]] не изменилось ... есть идеи о том, с чем это может быть связано?

Ответы [ 2 ]

0 голосов
/ 22 ноября 2018

Еще один трюк для конкретных индексов: 

>>> print(df.head(n=1))
          A         B         C         D
0 -0.042839  1.701118  0.064779  1.513046

>>> df['A'][0] = np.nan

>>> print(df.head(n=1))
    A         B         C         D
0 NaN  1.701118  0.064779  1.513046
0 голосов
/ 22 ноября 2018

Проблема в точности с плавающей точкой, поэтому используйте функцию numpy.isclose с mask: 

np.random.seed(123)
df = pd.DataFrame(np.random.randn(50, 4), columns=list('ABCD'))
print(df.head(n=1))
          A         B         C         D
0 -1.085631  0.997345  0.282978 -1.506295

df = df.mask(np.isclose(df.values, 0.997345))

Или используйте numpy.where: 

arr = np.where(np.isclose(df.values, 0.997345), np.nan, df.values)
df = pd.DataFrame(arr, index=df.index, columns=df.columns)

print(df.head(n=1))
          A   B         C         D
0 -1.085631 NaN  0.282978 -1.506295

РЕДАКТИРОВАТЬ: Вы также можете получить только числовые столбцы по select_dtypes для фильтрации по подмножеству с []: 

np.random.seed(123)
df = pd.DataFrame(np.random.randn(50, 4), columns=list('ABCD')).assign(E='a')

cols = df.select_dtypes(np.number).columns
df[cols] = df[cols].mask(np.isclose(df[cols].values, 0.997345))
print(df.head(n=1))
          A   B         C         D  E
0 -1.085631 NaN  0.282978 -1.506295  a
...