Отмена запроса от вспомогательного потока для принудительного возврата MPI_Wait

Question

Я пытаюсь отменить асинхронную операцию, начатую с MPI_Irecv.В потоке у меня есть цикл, который непрерывно прослушивает запросы с последовательными вызовами MPI_Irecv и MPI_Wait.Чтобы аккуратно выйти из цикла, я хотел бы отменить запрос, например, вызвать MPI_Cancel из другого потока.

Из того, что я понимаю, MPI_Cancel отмечает сообщение для отмены и, цитируя спецификации:

Если сообщение помечено для отмены, то вызов MPI_WAIT для этого сообщения гарантированно вернется.

Следующий код показывает, что это не работает, поскольку янамеренно, поскольку MPI_WAIT никогда не возвращается - проверено с недавним MS-MPI в Windows и MPICH2 в Linux.

#include <mpi.h>

#include <iostream>
#include <future>


using namespace std::literals::chrono_literals;

void async_cancel(MPI_Request *request)
{
    std::this_thread::sleep_for(1s);

    std::cout << "Before MPI_Cancel" << std::endl;

    int res = MPI_Cancel(request);
    if (res != MPI_SUCCESS)
        std::cerr << "MPI_Cancel failed" << std::endl;

    std::cout << "After MPI_Cancel" << std::endl;
}


int main(int argc, char* argv[])
{
    int provided;
    MPI_Init_thread(&argc, &argv, MPI_THREAD_MULTIPLE, &provided);

    if (provided != MPI_THREAD_MULTIPLE)
        std::cout << "MPI_Init_thread could not provide MPI_THREAD_MULTIPLE" << std::endl;

    int rank, numprocs;
    MPI_Comm_size(MPI_COMM_WORLD, &numprocs);
    MPI_Comm_rank(MPI_COMM_WORLD, &rank);


    MPI_Request request;
    MPI_Status status;

    int buffer;

    if (rank == 0)
    {
        MPI_Irecv(&buffer, 1, MPI_INT, 1, 123, MPI_COMM_WORLD, &request);

        auto res = std::async(std::launch::async, &async_cancel, &request);

        std::cout << "Before MPI_Wait" << std::endl;

        MPI_Wait(&request, &status);

        std::cout << "After MPI_Wait " << std::endl;
    }
    else
        std::this_thread::sleep_for(2s);

    MPI_Finalize();

    return 0;
}

Это проблема реализации?Есть ли лучший способ заставить MPI_Wait вернуть?

---

EDIT : код (обновленный комментариями @Zulan и @amlucas) фактически работает для большинства реализаций, но MS-MPI.

Answer 1

Прежде всего, вам необходимо убедиться, что MPI правильно нарезан, например, заменив MPI_Init на

int thread_level;
MPI_Init_thread(&argc, &argv, MPI_THREAD_MULTIPLE, &thread_level);
if (thread_level != MPI_THREAD_MULTIPLE)
{
    std::cout << "Invalid thread level " << thread_level << "\n";
    return -1;
}

Это необходимо всякий раз, когда вы хотите одновременно вызвать какие-либо функции MPI. Для меня это работает с OpenMPI 4.0.1 или Intel MPI 2019.0.0. Однако вам также необходимо удалить MPI_Request_free, поскольку он избыточен с MPI_Wait, который также очищает запрос.

Теперь, пока это работает, MPI не накладывает ограничений на одновременный вызов функций MPI с одним и тем же запросом. Однако я бы не сказал, что формулировка стандарта явно учитывает ваш конкретный вариант использования - и даже если это так, кажется, что легко ошибиться в реализации.

Если у вас возникли проблемы, вы можете рассмотреть возможность использования петли MPI_Test - за счет задержки и энергопотребления. Другой альтернативой будет фиктивный запрос на получение и MPI_Waitany. Вместо MPI_Cancel вы затем отправляете сообщение, соответствующее фиктивному запросу.

Answer 2

MPI_Init инициализированный MPI для однопоточных вызовов. Попробуйте вместо этого использовать MPI_Init_thread, что позволит использовать многопоточные вызовы MPI.