Каков рекомендуемый способ вычисления взвешенной суммы выбранных столбцов кадра данных pandas? - PullRequest
Новая
       34

Каков рекомендуемый способ вычисления взвешенной суммы выбранных столбцов кадра данных pandas?

0 голосов
/ 30 декабря 2018

Например, я хотел бы вычислить взвешенную сумму столбцов «a» и «c» для приведенной ниже матрицы с весами, определенными в словаре w. 

df = pd.DataFrame({'a': [1,2,3], 
                   'b': [10,20,30], 
                   'c': [100,200,300],
                   'd': [1000,2000,3000]})
w = {'a': 1000., 'c': 10.}

Я вычислилнекоторые варианты сам (см. ниже), но все выглядит немного сложнее.Разве нет прямой операции панд для этого базового варианта использования?Что-то вроде df.wsum(w)?

Я пытался pd.DataFrame.dot, но возникает ошибка значения: 

df.dot(pd.Series(w))
# This raises an exception:
# "ValueError: matrices are not aligned"

Исключение можно избежать, указаввес для каждого столбца, но это , а не , что я хочу. 

w = {'a': 1000., 'b': 0., 'c': 10., 'd': 0. }
df.dot(pd.Series(w)) # This works

Как можно вычислить скалярное произведение только для подмножества столбцов?В качестве альтернативы можно выбрать интересующие столбцы перед применением точечной операции или использовать тот факт, что pandas / numpy игнорирует nan s при вычислении (по строкам) сумм (см. Ниже).

Вот три способа, которые я смог определить сам: 

w = {'a': 1000., 'c': 10.}

# 1) Create a complete lookup W.
W = { c: 0. for c in df.columns }
W.update(w)
ret = df.dot(pd.Series(W))

# 2) Select columns of interest before applying the dot product.
ret = df[list(w.keys())].dot(pd.Series(w))

# 3) Exploit the handling of NaNs when computing the (row-wise) sum
ret = (df * pd.Series(w)).sum(axis=1)
# (df * pd.Series(w)) contains columns full of nans

Я пропустил опцию?

Ответы [ 3 ]

0 голосов
/ 30 декабря 2018

Вы можете использовать Series, как в первом примере, просто используйте переиндексацию впоследствии: 

import pandas as pd

df = pd.DataFrame({'a': [1,2,3],
                   'b': [10,20,30],
                   'c': [100,200,300],
                   'd': [1000,2000,3000]})

w = {'a': 1000., 'c': 10.}
print(df.dot(pd.Series(w).reindex(df.columns, fill_value=0)))

Выход 

0    2000.0
1    4000.0
2    6000.0
dtype: float64
0 голосов
/ 30 декабря 2018

Использование numpy dot со значениями 

df[list(w.keys())].values.dot(list(w.values()))
array([2000., 4000., 6000.])

Исправлена ​​ошибка 

df.mul( pd.Series(w),1).sum(axis=1)
0    2000.0
1    4000.0
2    6000.0
dtype: float64
0 голосов
/ 30 декабря 2018

Вот вариант без необходимости создания pd.Series: 

(df.loc[:,w.keys()] * list(w.values())).sum(axis=1)
0    2000.0
1    4000.0
2    6000.0
...