Вернуть указатель 2D Cython на массив Python - PullRequest
Новая
       4

Вернуть указатель 2D Cython на массив Python

2 голосов
/ 29 мая 2020

В настоящее время я передаю от Cython к C следующий указатель указателя: 

    #convert the input Python 2D array to a memory view
    cdef double[:,:] a_cython= np.asarray(a,order="C")
    #define a pointer of a pointer with dimensions of a
    cdef double** point_to_a = <double **>malloc(N * sizeof(double*))
    #initialize the pointer
    if not point_to_a: raise MemoryError
    #try:
    for i in range(N):
        point_to_a[i] = &a_cython[i, 0]

    #pass this double pointer to a C function
    logistic_sigmoid(&point_to_a[0], N,M)

, где a - это массив numpy, размеры которого составляют N x M, point_to_a - указатель Cython на указатель, который относится к Cython memoryview a_cython. Поскольку вход a из Python представляет собой двумерный массив, я подумал, что это лучший способ передать информацию напрямую в C. Переход проходит плавно, и расчет выполняется правильно. Однако сейчас я пытаюсь повторно преобразовать point_to_a в массив numpy, но я немного борюсь.

Я рассматриваю различные решения. Я хотел бы изучить, можно ли сохранить N-мерный массив на протяжении всего процесса, поэтому я экспериментировал с этим подходом в Cython: 

    #define a integer array for dimensions
    cdef np.npy_intp dims[2]
    dims[0]=  N
    dims[1] = M
    #create a new memory view and PyArray_SimpleNewFromData to deal with the pointer
    cdef np.ndarray[double, ndim=2] new_a =  np.PyArray_SimpleNewFromData(2, &dims[0], np.NPY_DOUBLE, point_to_a)

, однако, когда я конвертирую new_a в np .array as array = np.asarray(new_a) У меня есть массив только с нулями. У вас есть идеи?

Большое спасибо

1 Ответ

1 голос
/ 29 мая 2020

Как только вы используете int** (или аналогичный), ваши данные находятся в так называемой косвенной структуре памяти. Представления типизированной памяти Cython поддерживают непрямую компоновку памяти (см., Например, Cython: понимание типизированного представления памяти с раскладкой памяти Indirect_contignuous ), однако не так много классов, реализующих этот интерфейс.

Numpy ndarrays не реализуют косвенную компоновку памяти - они поддерживают только прямую компоновку памяти (например, указатель типа int*, а не int**), поэтому передача int** в массив numpy не принесет пользы.

Хорошо то, что, поскольку вы разделяете память с a_cython, значения уже были обновлены на месте. Вы можете получить базовый массив numpy, вернув base -объект представления типизированной памяти, то есть 

return a_cython.base # returns 2d-numpy array.

нет необходимости копировать память вообще!

Однако есть некоторые проблемы с управлением памятью (например, вам нужно освободить point_to_a).

В вашем случае это, возможно, излишество, но я использую возможность без зазрения совести подключить свою библиотеку indirect_buffer: потому что альтернатив для буферов непрямой разметки памяти мало и время от времени он нужен, я создал его, чтобы не писать всегда один и тот же код.

С indirect_buffer ваша функция может выглядеть следующим образом: 

%%cython
#just an example for a c-function
cdef extern from *:
    """
    void fillit(int** ptr, int N, int M){
       int cnt=0;
       for(int i=0;i<N;i++){
          for(int j=0;j<M;j++){
            ptr[i][j]=cnt++;
          }
       }
    }
    """
    void fillit(int** ptr, int N, int M)

from indirect_buffer.buffer_impl cimport IndirectMemory2D
def py_fillit(a):
    #create collection, it is a view of a
    indirect_view=IndirectMemory2D.cy_view_from_rows(a, readonly=False)
    fillit(<int**>indirect_view.ptr, indirect_view.shape[0], indirect_view.shape[1])
    # values are updated directly in a

, который теперь может быть используется, например: 

import numpy as np
a=np.zeros((3,4), dtype=np.int32)
py_fillit(a)
print(a)
# prints as expected:
#  array([[ 0,  1,  2,  3],
#         [ 4,  5,  6,  7],
#         [ 8,  9, 10, 11]])

Вышеупомянутая версия делает многие вещи правильно: управление памятью, блокировка буферов и т. д.

...