Эффективное изменение этого массива - PullRequest
Новая
       22

Эффективное изменение этого массива

1 голос
/ 04 мая 2019

Учитывая этот массив X: 

[1 2 3 2 3 1 4 5 7 1]

и массив строк R: 

[3 2 5]

, который представляет длины каждой строки после преобразования.

Я ищу вычислительно эффективную функцию для преобразования X в этот массив Y: 

[[ 1.  2.  3. nan nan]
 [ 2.  3. nan nan nan]
 [ 1.  4.  5.  7.  1.]]

Это просто упрощенная версия реальных массивов, над которыми я работаю. Мои настоящие массивы больше похожи на это: 

R = np.random.randint(5, size = 21000)+1
X = np.random.randint(10, size = np.sum(R))

Я уже отключил функцию для генерации измененного массива, но функция работает слишком медленно. Я пробовал некоторые функции Numba, чтобы ускорить его, но они генерируют много сообщений об ошибках для обработки. Моя супер медленная функция: 

def func1(given_array, row_length):

    corresponding_indices = np.cumsum(row_length)



    desired_result = np.full([len(row_length),np.amax(row_length)], np.nan)
    desired_result[0,:row_length[0]] = given_array[:corresponding_indices[0]]

    for i in range(1,len(row_length)):
        desired_result[i,:row_length[i]] = given_array[corresponding_indices[i-1]:corresponding_indices[i]]

    return desired_result

Эта функция занимает 34 мсек на цикл, когда размеры input_arrays еще не превысили 100K. Я ищу функцию, которая делает то же самое с теми же размерами, но менее чем за 10 мс на цикл

Заранее спасибо

1 Ответ

1 голос
/ 04 мая 2019

Вот векторизация с использованием broadcasting - 

def func2(given_array, row_length):
    given_array = np.asarray(given_array)
    row_length = np.asarray(row_length)
    mask = row_length[:,None] > np.arange(row_length.max())
    out = np.full(mask.shape, np.nan)
    out[mask] = given_array
    return out

Пробный прогон - 

In [305]: a = [1, 2, 3, 2, 3, 1, 4, 5, 7, 1]
     ...: b = [3, 2, 5]

In [306]: func2(a,b)
Out[306]: 
array([[ 1.,  2.,  3., nan, nan],
       [ 2.,  3., nan, nan, nan],
       [ 1.,  4.,  5.,  7.,  1.]])

Время и проверка на большом наборе данных - 

In [323]: np.random.seed(0)
     ...: R = np.random.randint(5, size = 21000)+1
     ...: X = np.random.randint(10, size = np.sum(R))

In [324]: %timeit func1(X,R)
100 loops, best of 3: 17.5 ms per loop

In [325]: %timeit func2(X,R)
1000 loops, best of 3: 657 µs per loop

In [332]: o1 = func1(X,R)

In [333]: o2 = func2(X,R)

In [334]: np.allclose(np.where(np.isnan(o1),0,o1),np.where(np.isnan(o2),0,o2))
Out[334]: True
...