OpenMp не использует все процессоры (двойной сокет, Windows и Microsoft Visual Studio) - PullRequest
Новая
       13

OpenMp не использует все процессоры (двойной сокет, Windows и Microsoft Visual Studio)

2 голосов
/ 19 апреля 2019

У меня есть система с двумя сокетами с 22 реальными ядрами на процессор или 44 гиперпотоками на процессор.Я могу заставить openMP полностью использовать первый процессор (22 ядра / 44 гипер), но я не могу заставить его использовать второй процессор.

Я использую CPUID HWMonitor для проверки использования моего ядра.Второй процессор всегда находится на уровне 0% или почти на всех ядрах.

Использование: 

int nProcessors = omp_get_max_threads();

дает мне nProcessors = 44, но я думаю, что он просто использует 44 гиперпотока 1 процессора вместо 44 реальных ядер (должно быть 88 гиперпоточностей)

Оглянувшись вокруг, я не знаю, как использовать другой процессор.

Мой процессор работает нормально, так как я могу запускать другие программы параллельной обработки, которые используют все из них.

Я собираю это в 64 бит, но я не думаю, что это имеет значение.Также я использую Visual Studio 2017 Professional версии 15.2.Откройте MP 2.0 (поддерживается только один против).Работает на Windows 10 Pro, 64 бит, с 2 процессорами Intel Xeon E5-2699v4 @ 2.2 ГГц.

1 Ответ

1 голос
/ 25 апреля 2019

Итак, отвечая на мой вопрос, спасибо @AlexG за предоставленную информацию.См. Раздел комментариев к вопросу.

Это проблема Microsoft Visual Studio и Windows.

Первое чтение Группы процессоров для Windows .

В основном,если у вас менее 64 логических ядер, это не будет проблемой.Однако, как только вы пройдете через это, у вас будет две группы процессов для каждого сокета (или другой организации, которую Windows выберет).В моем случае каждая группа процессов имела 44 гиперпотока и представляла один физический сокет ЦП, и у меня было ровно две группы процессов.Каждому процессу (программе) по умолчанию предоставляется доступ только к одной группе процессов, поэтому изначально я мог использовать только 44 потока на одном ядре.Однако если вы вручную создаете потоки и используете SetThreadGroupAffinity, чтобы установить группу процессоров потока, которая отличается от первоначально назначенной группы вашей программы, то ваша программа теперь становится многопроцессорной группой.Это похоже на обходной путь для включения многопроцессорных систем, но да, это как это сделать.Вызов GetProcessGroupAffinity покажет, что число групп становится больше 1, как только вы начинаете устанавливать отдельную группу процессов каждого потока.

Мне удалось создать открытый блок MP, подобный этому, и пройти и назначить группы процессов:

... 

#pragma omp parallel num_threads( 88 )
{
    HANDLE thread = GetCurrentThread();

    if (omp_get_thread_num() > 32)
    {
        // Reserved has to be zero'd out after each use if reusing structure...
        GroupAffinity1.Reserved[0] = 0;
        GroupAffinity1.Reserved[1] = 0;
        GroupAffinity1.Reserved[2] = 0;
        GroupAffinity1.Group = 0;
        GroupAffinity1.Mask = 1 << (omp_get_thread_num()%32);
        if (SetThreadGroupAffinity(thread, &GroupAffinity1, &previousAffinity))
        {
            sprintf(buf, "Thread set to group 0: %d\n", omp_get_thread_num());
            OutputDebugString(buf);
        }
    }
    else
    {
        // Reserved has to be zero'd out after each use if reusing structure...
        GroupAffinity2.Reserved[0] = 0;
        GroupAffinity2.Reserved[1] = 0;
        GroupAffinity2.Reserved[2] = 0;
        GroupAffinity2.Group = 1;
        GroupAffinity2.Mask = 1 << (omp_get_thread_num() % 32);
        if (SetThreadGroupAffinity(thread, &GroupAffinity2, &previousAffinity))
        {
            sprintf(buf, "Thread set to group 1: %d\n", omp_get_thread_num());
            OutputDebugString(buf);
        }
    }
}

Итак, с помощью приведенного выше кода мне удалось запустить 64 потока, по 32 потока на каждый сокет.Теперь я не смог получить более 64 потоков, хотя пытался принудительно установить omp_set_num_threads равным 88. Причина, по-видимому, связана с реализацией OpenMP в Visual Studio, которая не позволяет использовать более 64 потоков OpenMP.Вот ссылка на это для получения дополнительной информации

Спасибо всем за помощь в подборе еще нескольких лакомых кусочков, которые помогли в конечном ответе!

...