MPI_Reduce с пользовательской функцией и несмежными данными - PullRequest
Новая
       76

MPI_Reduce с пользовательской функцией и несмежными данными

0 голосов
/ 30 апреля 2018

Я пытаюсь сделать несколько простых проектов MPI (с MPICH), но при этом у меня возникла проблема, которую я не понимаю и не могу решить (вероятно, я неправильно понимаю документ). Поэтому я хотел передать структуру MPI_Reduce, чтобы выполнить над ней некоторые операции и вернуть результат обратно в корневой процесс.

Для этого я попробовал два разных способа. Первым способом было использовать MPI_Pack для последовательной упаковки элементов структуры в буфер и распаковки их в моей пользовательской функции. 

#include <mpi.h>
#include <stdio.h>
#include <stdlib.h>
#include <stdarg.h>

#define MAX_PACKING_BUF_SIZE 100

typedef struct {
    double x;
    int n;
} BE_Type;

int rank = -1;

void operation(void *invec, void *inoutvec, int *length, MPI_Datatype *type)
{
    uint8_t *buf  = (uint8_t*) invec;
    double *res     = (double*) inoutvec;
    int pos;
    BE_Type value;

    printf("[%d] len: %d\n", rank, *length);

    pos = 0;
    MPI_Unpack(buf, *length, &pos, &value.x, 1, MPI_DOUBLE, MPI_COMM_WORLD);
    MPI_Unpack(buf, *length, &pos, &value.n, 1, MPI_INT,    MPI_COMM_WORLD);

    printf("[%d] x: %lf, n: %d\n", rank, value.x, value.n);

    *res    += value.x;
}

int main (int argc, char *argv[])
{
    int rc, pos;
    int root    = 0;
    double res  = 0.0;
    MPI_Op my_op;
    BE_Type value;
    uint8_t buf[MAX_PACKING_BUF_SIZE];

    rc = MPI_Init(&argc,&argv);
    if (rc != MPI_SUCCESS) printf("ERROR\n");
    rc = MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    if (rc != MPI_SUCCESS) printf("ERROR\n");
    rc = MPI_Op_create( (MPI_User_function*) operation, 1, &my_op);
    if (rc != MPI_SUCCESS) printf("ERROR\n");

    value.x = 1.0;
    value.n = rank;

    pos = 0;
    MPI_Pack(&value.x, 1, MPI_DOUBLE, buf, MAX_PACKING_BUF_SIZE, &pos, MPI_COMM_WORLD);
    MPI_Pack(&value.n, 1, MPI_INT,    buf, MAX_PACKING_BUF_SIZE, &pos, MPI_COMM_WORLD);

    rc = MPI_Reduce(buf, &res, pos, MPI_PACKED, my_op, root, MPI_COMM_WORLD);
    if (rc != MPI_SUCCESS) printf("ERROR\n");

    if (rank == root) {
        printf("res: %lf\n", res);
    }
}

Этот код, однако, приводит к следующим результатам (запущено 4 процесса): 

[0] len: 12
[2] len: 12
[2] x: 1.000000, n: 3
[0] x: 1.000000, n: 1
[0] len: 12
[0] x: 2.000000, n: 2
res: 4.000000

Итак, во-первых, мне интересно, почему моя функция вызывается только три раза вместо четырех? И во-вторых (и это мой главный вопрос): почему это значение x изменилось в одной точке?

Интересно, что значение x также изменяется с помощью второго протестированного мной способа, который определял новый тип данных: 

#include <mpi.h>
#include <stdio.h>
#include <stdlib.h>
#include <stdarg.h>

typedef struct {
    double x;
    int n;
} BE_Type;

int rank = -1;

void operation(void *invec, void *inoutvec, int *length, MPI_Datatype *type)
{
    BE_Type *value  = (BE_Type*) invec;
    double *res     = (double*) inoutvec;

    printf("[%d] x: %lf, n: %d\n", rank, value->x, value->n);

    *res    += value->x;
}

int main (int argc, char *argv[])
{
    int rc, pos;
    int root    = 0;
    double res  = 0.0;
    MPI_Op my_op;
    BE_Type value;

    MPI_Datatype MPI_BE_Type;
    int blocklens[2];
    MPI_Aint indices[2];
    MPI_Datatype old_types[2];

    rc = MPI_Init(&argc,&argv);
    if (rc != MPI_SUCCESS) printf("ERROR\n");
    rc = MPI_Comm_rank(MPI_COMM_WORLD, &rank);
    if (rc != MPI_SUCCESS) printf("ERROR\n");
    rc = MPI_Op_create( (MPI_User_function*) operation, 1, &my_op);
    if (rc != MPI_SUCCESS) printf("ERROR\n");

    blocklens[0] = 1;
    blocklens[1] = 1;
    old_types[0] = MPI_DOUBLE;
    old_types[1] = MPI_INT;
    MPI_Address(&value.x, &indices[0]);
    MPI_Address(&value.n, &indices[1]);
    indices[1] = indices[1] - indices[0];
    indices[0] = 0;
    MPI_Type_struct(2, blocklens, indices, old_types, &MPI_BE_Type);
    MPI_Type_commit(&MPI_BE_Type);

    value.x = 1.0;
    value.n = rank;

    rc = MPI_Reduce(&value, &res, 1, MPI_BE_Type, my_op, root, MPI_COMM_WORLD);
    if (rc != MPI_SUCCESS) printf("ERROR\n");

    if (rank == root) {
        printf("res: %lf\n", res);
    }
}

Результаты к (4 процесса запущены): 

[2] x: 1.000000, n: 3
[0] x: 1.000000, n: 1
[0] x: 2.000000, n: 2
res: 4.000000

Так что я полагаю, что я что-то неправильно понимаю или неправильно использую. Каждая помощь ценится. Спасибо!

1 Ответ

0 голосов
/ 30 апреля 2018

Итак, во-первых, мне интересно, почему моя функция вызывается только три раза вместо четырех?

Сложение N значений, требуется N-1 сложений. То же самое касается любой операции. Неважно, как вы их переставляете.

И второе (и это мой главный вопрос): почему это значение x изменилось в одной точке?

Операция выполняется в виде дерева (обычно биномиального дерева). В вашем случае это выглядит примерно так: 

Ranks   0 1 2 3

        1 1 1 1
        |/  | /
        +   +
        2   2
        |  /
        | /
        +
        4

Операции всегда должны быть ассоциативными, поэтому это правильный способ вычисления результата.

Я бы не стал рекомендовать первый способ упаковки / распаковки в пользовательской операции сокращения. В любом случае: ваша функция сокращения должна использовать и in, и inout как BE_Type! Функция также должна работать для любого length. Так это может выглядеть так: 

void operation(void *invec, void *inoutvec, int *length, MPI_Datatype *type)
{
    BE_Type *value = (BE_Type*) invec;
    BE_Type *res   = (BE_Type*) inoutvec;

    for (int i = 0; i < *length; i++) {
        res[i].x += value[i].x;
        // should probably do something with n
    }
}
...