Как я могу рассчитать вероятность для каждого значения numpy одновременно? - PullRequest
Новая
       5

Как я могу рассчитать вероятность для каждого значения numpy одновременно?

0 голосов
/ 21 ноября 2018

У меня есть функция для вычисления вероятности, как показано ниже: 

def multinormpdf(x, mu, var): # calculate probability of multi Gaussian distribution
    k = len(x)
    det = np.linalg.det(var)
    inv = np.linalg.inv(var)
    denominator = math.sqrt(((2*math.pi)**k)*det)
    numerator = np.dot((x - mean).transpose(), inv)
    numerator = np.dot(numerator, (x - mean))
    numerator = math.exp(-0.5 * numerator)
    return numerator/denominator

, и у меня есть средний вектор, ковариационная матрица и двумерный массив для теста 

mu = np.array([100, 105, 42]) # mean vector
var = np.array([[100, 124, 11], # covariance matrix
               [124, 150, 44],
               [11, 44, 130]])

arr = np.array([[42, 234, 124],  # arr is 43923794 x 3 matrix
                [123, 222, 112],
                [42, 213, 11],
                ...(so many values about 40,000,000 rows),
                [23, 55, 251]])

Я должен рассчитать длявероятность для каждого значения, поэтому я использовал этот код 

for i in arr:
    print(multinormpdf(i, mu, var)) # I already know mean_vector and variance_matrix

Но это так медленно ...

Есть ли более быстрый способ для вычисления вероятности?Или есть какой-нибудь способ рассчитать вероятность для тестового набора сразу, как «пакет»?

Ответы [ 2 ]

0 голосов
/ 22 ноября 2018

Вы можете легко векторизовать свою функцию: 

import numpy as np

def fast_multinormpdf(x, mu, var):
    mu = np.asarray(mu)
    var = np.asarray(var)
    k = x.shape[-1]
    det = np.linalg.det(var)
    inv = np.linalg.inv(var)
    denominator = np.sqrt(((2*np.pi)**k)*det)
    numerator = np.dot((x - mu), inv)
    numerator = np.sum((x - mu) * numerator, axis=-1)
    numerator = np.exp(-0.5 * numerator)
    return numerator/denominator


arr = np.array([[42, 234, 124],
                [123, 222, 112],
                [42, 213, 11],
                [42, 213, 11]])

mu = [0, 0, 1]
var = [[1, 100, 100],
       [100, 1, 100],
       [100, 100, 1]]

slow_out = np.array([multinormpdf(i, mu, var) for i in arr])
fast_out = fast_multinormpdf(arr, mu, var)

np.allclose(slow_out, fast_out) # True

С fast_multinormpdf примерно в 1000 раз быстрее, чем ваша невызванная функция: 

long_arr = np.tile(arr, (10000, 1))

%timeit np.array([multinormpdf(i, mu, var) for i in long_arr])
# 2.12 s ± 93.4 ms per loop (mean ± std. dev. of 7 runs, 1 loop each)
%timeit fast_multinormpdf(long_arr, mu, var)
# 2.56 ms ± 76.9 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)
0 голосов
/ 21 ноября 2018

Вы можете попробовать Нумбу.Просто украсьте вашу функцию с помощью @numba.vectorize. 

@numba.vectorize
def multinormpdf(x, mu, var):
    # ...
    return caculated_probability

new_arr = multinormpdf(arr)

Если ваш multinormpdf не содержит каких-либо неподдерживаемых функций, его можно ускорить.См. Здесь: https://numba.pydata.org/numba-doc/dev/reference/numpysupported.html

Более того, вы можете использовать экспериментальную функцию target='parallel' следующим образом. 

@numba.vectorize(target='parallel')
...