Суммирование выбранных элементов матрицы в Python

Question

У меня есть матрица [n x n], содержащая значения, принадлежащие различным группам, и вектор [1 x n], определяющий, к какой группе принадлежит каждый элемент. (обычно n ~ 1E4, в этом примере n = 4)

Я хочу вычислить матрицу, полученную суммированием всех элементов, принадлежащих к одной группе.

Я использую np.where () для вычисления индексов, где расположены элементы каждой группы. Когда я использую вычисленные индексы, я не получаю ожидаемые элементы, потому что я выбираю пары позиций вместо диапазонов (я привык к Matlab, где я могу просто выбрать M (idx1, idx2)).

import numpy as np

n=4
M = np.random.rand(n,n)
print(M)

# This vector defines to which group each element belong
belongToGroup = np.array([0, 1, 0, 2])

nGroups=np.max(belongToGroup);

# Calculate a matrix obtained by summing elements belonging to the same group
M_sum = np.zeros((nGroups+1,nGroups+1))
for g1 in range(nGroups+1):
    idxG1 = np.where(belongToGroup==g1)
    for g2 in range(nGroups+1):
        idxG2 = np.where(belongToGroup==g2)
        print('g1 = ' + str(g1))
        print('g2 = ' + str(g2))
        print(idxG1[0])
        print(idxG2[0])
        print(M[idxG1[0],idxG2[0]])
        print(np.sum(M[idxG1[0],idxG2[0]]))
        M_sum[g1,g2]=np.sum(M[idxG1[0],idxG2[0]])

print('')
print('Example of the problem:')
print('Elements I would like to sum to obtain M_sum[0,0]')
print(M[0:2,0:2])
print('Elements that are summed instead')
print(M[[0,1],[0,1]])

Пример проблемы: В приведенном выше примере элемент M_sum [0,0] должен быть суммой M [0,0], M [0,1], M [1,0] и M [1,1] Вместо этого он рассчитывается как сумма M [0,0] и M [1,1]

Answer 1

В MATLAB индексирование с помощью 2 списков (фактически матриц) выбирает блок. numpy, с другой стороны, пытается транслировать индексные массивы друг против друга и возвращает выбранные точки. Его поведение близко к тому, что sub2ind делает в MATLAB.

In [971]: arr = np.arange(16).reshape(4,4)                                      
In [972]: arr                                                                   
Out[972]: 
array([[ 0,  1,  2,  3],
       [ 4,  5,  6,  7],
       [ 8,  9, 10, 11],
       [12, 13, 14, 15]])
In [973]: i1, i2 = np.array([0,2,3]), np.array([1,2,0])                         

Индексирование с 2 1d массивами одинакового размера:

In [974]: arr[i1,i2]
Out[974]: array([ 1, 10, 12])

Это, по сути, возвращает [arr[0,1], arr[2,2], arr[3,0]], один элемент для каждой точки совпадающих индексов.

Но если я превращаю один индекс в «вектор-столбец», он выбирает из строк, а i2 выбирает из столбцов.

In [975]: arr[i1[:,None], i2]                                                   
Out[975]: 
array([[ 1,  2,  0],
       [ 9, 10,  8],
       [13, 14, 12]])

MATLAB упрощает индексацию блоков, а индивидуальный доступ сложнее. В numpy доступ к блоку немного сложнее, хотя основная механика та же.

На вашем примере i1[0] и i2[0] могут быть такими массивами, как:

array([0, 2]), array([3])
(2,) (1,)

Массив shape (1,) также может транслироваться с массивом (2,) или (2,1). Ваш код потерпит неудачу, если вместо is[0] будет np.array([0,1,2]), массив (3,), который не может быть связан с массивом (2,). Но с (2,1) он производит (2,3) блок.

Answer 2

Вы можете использовать np.ix_ для получения поведения matlab-ish:

A = np.arange(9).reshape(3, 3)
A[[1,2],[0,2]]
# array([3, 8])
A[np.ix_([1,2],[0,2])]
# array([[3, 5],
#        [6, 8]])

Под капотом np.ix_ делает то, что @hpaulj подробно описывает:

np.ix_([1,2],[0,2])
# (array([[1],
#        [2]]), array([[0, 2]]))

Вы можете применить это к вашей конкретной проблеме следующим образом:

M = np.random.randint(0, 10, (n, n))
M
# array([[6, 2, 7, 1],
#        [6, 7, 9, 5],
#        [9, 4, 3, 2],
#        [3, 1, 7, 9]])
idx = np.array([0, 1, 0, 2])

ng = idx.max() + 1
out = np.zeros((ng, ng), M.dtype)
np.add.at(out, np.ix_(idx, idx), M)
out
# array([[25,  6,  3],
#        [15,  7,  5],
#        [10,  1,  9]])

В качестве отступления: есть более быстрое, но менее очевидное решение, основанное на плоской индексации:

np.bincount(np.ravel_multi_index(np.ix_(idx, idx), (ng, ng)).ravel(), M.ravel(), ng*ng).reshape(ng, ng)
# array([[25.,  6.,  3.],
#        [15.,  7.,  5.],
#        [10.,  1.,  9.]])