Можете ли вы транспонировать массив при отправке с использованием MPI_Type_create_subarray? - PullRequest
Новая
       93

Можете ли вы транспонировать массив при отправке с использованием MPI_Type_create_subarray?

6 голосов
/ 11 апреля 2011

Я пытаюсь транспонировать матрицу, используя MPI в C. Каждый процесс имеет квадратную подматрицу, и я хочу отправить ее правильному процессу («противоположному» в сетке), транспонируя его как частьCommunication.

Я использую MPI_Type_create_subarray, который имеет аргумент для порядка, либо MPI_ORDER_C или MPI_ORDER_FORTRAN для основной строки и основной столбца соответственно.Я думал, что если я отправлю как один из них и получу как другой, то моя матрица будет транспонирована как часть сообщения.Однако, похоже, этого не происходит - он просто остается не транспонированным.

Важная часть кода приведена ниже, и весь файл кода доступен по адресу в этой сути У кого-нибудь есть идеи, почему это не работает?Должен ли этот подход выполнять транспонированную работу?Я бы подумал, прочитав описания MPI_ORDER_C и MPI_ORDER_FORTRAN, но, возможно, нет. 

/* ----------- DO TRANSPOSE ----------- */
/* Find the opposite co-ordinates (as we know it's a square) */
coords2[0] = coords[1];
coords2[1] = coords[0];

/* Get the rank for this process */
MPI_Cart_rank(cart_comm, coords2, &rank2);

/* Send to these new coordinates */

tag = (coords[0] + 1) * (coords[1] + 1);

/* Create new derived type to receive as */
/* MPI_Type_vector(rows_in_core, cols_in_core, cols_in_core, MPI_DOUBLE, &vector_type); */
sizes[0] = rows_in_core;
sizes[1] = cols_in_core;

subsizes[0] = rows_in_core;
subsizes[1] = cols_in_core;

starts[0] = 0;
starts[1] = 0;

MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_FORTRAN, MPI_DOUBLE, &send_type);
MPI_Type_commit(&send_type);

MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_C, MPI_DOUBLE, &recv_type);
MPI_Type_commit(&recv_type);


/* We're sending in row-major form, so it's just rows_in_core * cols_in_core lots of MPI_DOUBLE */
MPI_Send(&array[0][0], 1, send_type, rank2, tag ,cart_comm);

/* Receive from these new coordinates */
MPI_Recv(&new_array[0][0], 1, recv_type, rank2, tag, cart_comm, &status);

1 Ответ

8 голосов
/ 14 апреля 2011

Я бы подумал, что это тоже сработает, но, видимо, нет.

Если вы пробьетесь через соответствующий бит стандарта MPI, где он фактически определяет результирующую карту типов, причина становится ясной - MPI_Type_create_subarray отображает область, которую подмассив принимает вполный массив, но проходит через память в линейном порядке, поэтому расположение данных не меняется.Другими словами, когда размеры равны размерам, подрешетка - это просто непрерывный блок памяти;и для подмассива, строго меньшего, чем весь массив, вы просто изменяете субрегион, который отправляется / принимается, а не порядок данных.Вы можете увидеть эффект при выборе только субрегиона: 

int sizes[]={cols,rows};
int subsizes[]={2,4};
int starts[]={1,1};

MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_FORTRAN, MPI_INT, &ftype);
MPI_Type_commit(&ftype);

MPI_Type_create_subarray(2, sizes, subsizes, starts, MPI_ORDER_C, MPI_INT, &ctype);
MPI_Type_commit(&ctype);

MPI_Isend(&(send[0][0]), 1, ctype, 0, 1, MPI_COMM_WORLD,&reqc);
MPI_Recv(&(recvc[0][0]), 1, ctype, 0, 1, MPI_COMM_WORLD, &statusc);

MPI_Isend(&(send[0][0]), 1, ctype, 0, 1, MPI_COMM_WORLD,&reqf);
MPI_Recv(&(recvf[0][0]), 1, ftype, 0, 1, MPI_COMM_WORLD, &statusf);

/*...*/

printf("Original:\n");
printarr(send,rows,cols);
printf("\nReceived -- C order:\n");
printarr(recvc,rows,cols);
printf("\nReceived: -- Fortran order:\n");
printarr(recvf,rows,cols);

дает вам следующее: 

  0   1   2   3   4   5   6 
 10  11  12  13  14  15  16 
 20  21  22  23  24  25  26 
 30  31  32  33  34  35  36 
 40  41  42  43  44  45  46 
 50  51  52  53  54  55  56 
 60  61  62  63  64  65  66 

Received -- C order:
  0   0   0   0   0   0   0 
  0  11  12  13  14   0   0 
  0  21  22  23  24   0   0 
  0   0   0   0   0   0   0 
  0   0   0   0   0   0   0 
  0   0   0   0   0   0   0 
  0   0   0   0   0   0   0 

Received: -- Fortran order:
  0   0   0   0   0   0   0 
  0  11  12   0   0   0   0 
  0  13  14   0   0   0   0 
  0  21  22   0   0   0   0 
  0  23  24   0   0   0   0 
  0   0   0   0   0   0   0 
  0   0   0   0   0   0   0

Таким образом, одни и те же данные отправляются и принимаются;все, что на самом деле происходит, так это то, что размеры, размеры и старты массивов меняются местами.

Вы можете транспонировать с типами данных MPI - стандарт даже дает пару примеров , один из которых я транслитерировал на C здесь - но вы должны сами создавать типы.Хорошая новость заключается в том, что он на самом деле не длиннее, чем материал подмассива: 

MPI_Type_vector(rows, 1, cols, MPI_INT, &col);
MPI_Type_hvector(cols, 1, sizeof(int), col, &transpose);
MPI_Type_commit(&transpose);

MPI_Isend(&(send[0][0]), rows*cols, MPI_INT, 0, 1, MPI_COMM_WORLD,&req);
MPI_Recv(&(recv[0][0]), 1, transpose, 0, 1, MPI_COMM_WORLD, &status);

MPI_Type_free(&col);
MPI_Type_free(&transpose);

printf("Original:\n");
printarr(send,rows,cols);
printf("Received\n");
printarr(recv,rows,cols);



$ mpirun -np 1 ./transpose2 
Original:
  0   1   2   3   4   5   6 
 10  11  12  13  14  15  16 
 20  21  22  23  24  25  26 
 30  31  32  33  34  35  36 
 40  41  42  43  44  45  46 
 50  51  52  53  54  55  56 
 60  61  62  63  64  65  66 
Received
  0  10  20  30  40  50  60 
  1  11  21  31  41  51  61 
  2  12  22  32  42  52  62 
  3  13  23  33  43  53  63 
  4  14  24  34  44  54  64 
  5  15  25  35  45  55  65 
  6  16  26  36  46  56  66
...