Numpy ufunc.at с массивом символов

Question

Есть ли способ использовать numpy ufunc.at (в частности, add.at) для объединения массива строк? Ни add.at, ни char.add.at не работают с массивами string / char.

Метод должен работать с n-мерными массивами, поэтому разбиение на основе индексов и последующее объединение не идеальны

a = np.array(['a', 'b'])
ixs =  np.array([0, 1, 1])
vals = np.array(['e', 'f', 'g])

# Neither of these options work

np.add.at(a, ixs, vals)

---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-29-fb8e3bd48930> in <module>()
      2 ixs =  np.array([0, 1])
      3 vals = np.array(['e', 'e'])
----> 4 np.add.at(a, ixs, vals)

TypeError: ufunc 'add' did not contain a loop with signature matching types dtype('<U1') dtype('<U1') dtype('<U1')



np.char.add.at(a, ixs, vals)

---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-30-e1bb1f7868dd> in <module>()
      2 ixs =  np.array([0, 1])
      3 vals = np.array(['e', 'e'])
----> 4 np.char.add.at(a, ixs, vals)

AttributeError: 'function' object has no attribute 'at'

Желаемый вывод: ['ae', 'bfg']

Большое спасибо!

Answer 1

In [279]: a = np.array(['a', 'b']) 
     ...: ixs =  np.array([0, 1, 1]) 
     ...: vals = np.array(['e', 'f', 'g']) 
     ...:                      

Ваши ошибки:

In [280]: np.char.add.at(a, ixs, vals)                                       
---------------------------------------------------------------------------
AttributeError                            Traceback (most recent call last)
<ipython-input-280-f06ad4d86cfb> in <module>
----> 1 np.char.add.at(a, ixs, vals)

AttributeError: 'function' object has no attribute 'at'

In [281]: np.add.at(a, ixs, vals)                                            
---------------------------------------------------------------------------
TypeError                                 Traceback (most recent call last)
<ipython-input-281-683423808141> in <module>
----> 1 np.add.at(a, ixs, vals)

TypeError: ufunc 'add' did not contain a loop with signature matching types dtype('<U1') dtype('<U1') dtype('<U1')

Но давайте попробуем add.at, используя массивы dtype объекта.

In [282]: ao=a.astype(object)                                                
In [283]: ao                                                                 
Out[283]: array(['a', 'b'], dtype=object)
In [284]: vo=vals.astype(object)                                             
In [285]: vo                                                                 
Out[285]: array(['e', 'f', 'g'], dtype=object)
In [286]: np.add.at(ao, ixs, vo)                                                                                                                
In [287]: ao                                                                 
Out[287]: array(['ae', 'bfg'], dtype=object)

Уфунки numpy имеют тенденцию (всегда?) Работатьмассив dtype объектов путем делегирования действия соответствующим методам объектов.add определено для строк Python, поэтому add.at работает как нужно.

Answer 2

Ну, вы всегда можете рассчитывать на цифры!Итак, вот один из них, использующий манипуляции с массивами, и он подходит для больших наборов данных -

def char_add_at(a, ixs, vals):
    an = a.view('i1').reshape(len(a),-1)
    vn = vals.view('i1').reshape(len(vals),-1)

    s = (vn!=0).sum(1)
    vnc = np.bincount(ixs,s).astype(int)
    anc = (an!=0).sum(1)
    tnc = anc + vnc

    r = len(anc)
    c = tnc.max()+1
    out_ar = np.zeros((r,c), dtype=np.uint8)

    out_ar[:,:anc.max()] = an

    fill_mask = tnc[:,None] > np.arange(c)
    fill_mask &= out_ar==0
    out_ar[fill_mask] = vn[vn!=0]

    out = out_ar.view('S'+str(c)).ravel()
    return out

Примеры выполнения -

In [671]: a = np.array(['a', 'bz', 'cer'])
     ...: ixs =  np.array([0, 1, 1, 2])
     ...: vals = np.array(['ez', 'fieabcdef', 'gwop', 'H'])

In [672]: char_add_at(a, ixs, vals)
Out[672]: array(['aez', 'bzfieabcdefgwop', 'cerH'], dtype='|S16')

Время -

Случай № 1:Увеличение выборочного набора данных до 100x

In [675]: # Sample setup
     ...: a = np.array(['a', 'bz', 'cer'])
     ...: ixs =  np.array([0, 1, 1, 2])
     ...: vals = np.array(['ez', 'fieabcdef', 'gwop', 'H'])
     ...: 
     ...: # Scale up sample dataset
     ...: N = 100 # scale up factor
     ...: a = np.hstack(([a]*N))
     ...: ixs = (ixs + (ixs.max()+1)*np.arange(N)[:,None]).ravel()
     ...: vals = np.hstack(([vals]*N))

# @hpaulj's soln
In [676]: %%timeit
     ...: ao=a.astype(object)                                                
     ...: vo=vals.astype(object)                                             
     ...: np.add.at(ao, ixs, vo)
10000 loops, best of 3: 56.3 µs per loop

In [677]: %timeit char_add_at(a, ixs, vals)
10000 loops, best of 3: 72.6 µs per loop

Случай № 2: Увеличение выборочного набора данных до 1000x

# @hpaulj's soln
In [679]: %%timeit
     ...: ao=a.astype(object)                                                
     ...: vo=vals.astype(object)                                             
     ...: np.add.at(ao, ixs, vo)
1000 loops, best of 3: 483 µs per loop

In [680]: %timeit char_add_at(a, ixs, vals)
1000 loops, best of 3: 364 µs per loop

Случай № 3: Увеличение выборочного набора данных до 10000x

# @hpaulj's soln
In [682]: %%timeit
     ...: ao=a.astype(object)                                                
     ...: vo=vals.astype(object)                                             
     ...: np.add.at(ao, ixs, vo)
100 loops, best of 3: 5.28 ms per loop

In [683]: %timeit char_add_at(a, ixs, vals)
100 loops, best of 3: 3.34 ms per loop