использовать многопоточность в Numba - PullRequest
Новая
       11

использовать многопоточность в Numba

0 голосов
/ 24 сентября 2018

У меня есть функция, которая выполняет проверку точки в многоугольнике.Он принимает два двумерных массива в качестве входных данных (ряд точек и многоугольник).Функция возвращает логическое значение в качестве вывода (True, если точка лежит внутри многоугольника, False в противном случае).Код заимствован из этого SO ответа .Пример ниже: 

from numba import jit
from numba.pycc import CC
cc = CC('nbspatial')
import numpy as np

@cc.export('array_tracing2', 'b1[:](f8[:,:], f8[:,:])')
@jit(nopython=True, nogil=True)
def array_tracing2(xy, poly):
    D = np.empty(len(xy), dtype=numba.boolean)
    n = len(poly)
    for i in range(1, len(D) - 1):
        inside = False
        p2x = 0.0
        p2y = 0.0
        xints = 0.0
        p1x,p1y = poly[0]
        x = xy[i][0]
        y = xy[i][1]
        for i in range(n+1):
            p2x,p2y = poly[i % n]
            if y > min(p1y,p2y):
                if y <= max(p1y,p2y):
                    if x <= max(p1x,p2x):
                        if p1y != p2y:
                            xints = (y-p1y)*(p2x-p1x)/(p2y-p1y)+p1x
                        if p1x == p2x or x <= xints:
                            inside = not inside
            p1x,p1y = p2x,p2y
        D[i] = inside
    return D


if __name__ == "__main__":
    cc.compile()

Приведенный выше код можно скомпилировать, запустив python numba_src.py и протестировав с помощью: 

import numpy as np
# regular polygon for testing
lenpoly = 10000
polygon = np.array([[np.sin(x)+0.5,np.cos(x)+0.5] for x in np.linspace(0,2*np.pi,lenpoly)[:-1]])

# random points set of points to test 
N = 100000
# making a list instead of a generator to help debug
pp = np.array([np.random.random(N), np.random.random(N)]).reshape(N,2)


import nbspatial
nbspatial.array_tracing2(pp, polygon)

Моя попытка состоит в распараллеливании кода выше, чтобы использоватьвсе доступные процессоры.

Я попытался, следуя примеру из numba официальной документации , используя @njit

import numba

@njit(parallel=True)
def array_tracing3(xy, poly):
    D = np.empty(len(xy), dtype=numba.boolean)
    n = len(poly)
    for i in range(1, len(D) - 1):
        inside = False
        p2x = 0.0
        p2y = 0.0
        xints = 0.0
        p1x,p1y = poly[0]
        x = xy[i][0]
        y = xy[i][1]
        for i in range(n+1):
            p2x,p2y = poly[i % n]
            if y > min(p1y,p2y):
                if y <= max(p1y,p2y):
                    if x <= max(p1x,p2x):
                        if p1y != p2y:
                            xints = (y-p1y)*(p2x-p1x)/(p2y-p1y)+p1x
                        if p1x == p2x or x <= xints:
                            inside = not inside
            p1x,p1y = p2x,p2y
        D[i] = inside
    return D

приведенный выше код для N=1000000в 55'' против 1' 33'' скомпилированной последовательной версии.Системный монитор показывает только один процессор, работающий на 100%.

Как я могу попытаться использовать все доступные процессоры и вернуть результат в одном массиве booleansd?

1 Ответ

0 голосов
/ 24 сентября 2018

Numba's parallel=True включает автоматический параллелизм только для определенных функций, а не для всех циклов.Вам следует заменить одно из ваших range() выражений на numba.prange, чтобы включить многоядерные вычисления.

См .: https://numba.pydata.org/numba-doc/dev/user/parallel.html

...