Несоответствие numactl и move_pages

Question

Я разработал простую программу для проверки узла страницы NUMA на основе этого вопроса .

Проблема в том, что сравнение результатов моей программы с numactl -H на Xeon E5-2698 v4 (два узла NUMA) показывает разные результаты. numactl -H показывает (обрезано):

available: 2 nodes (0-1)
node 0 cpus: 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59
node 1 cpus: 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79

Так, например, numactl говорит, что процессор 20 находится на узле 1. У меня есть следующий код:

#include <unistd.h>
#include <sys/mman.h>
#include <stdlib.h>
#include <stdio.h>
#include <numaif.h>
#include <omp.h>

int numa_node(void *ptr) {
  int status;
  int ret_code;
  if((ret_code = move_pages(0, 1, &ptr, NULL, &status, 0)) == -1) {
    perror("move_pages");
    return -1;
  }
  return status;
}

int main(int argc, char* argv[]) {
  int pgsize = getpagesize();
  printf("NUMA test(pgsize=%d)\n",pgsize);
  #pragma omp parallel firstprivate(pgsize)
  {
    if(omp_get_thread_num() == 20) {
      char *m = aligned_alloc(pgsize, pgsize);
      m[0] = 'a';
      if(mlock(m, 10) == -1) {
        perror("mlock");
      }
      else {
        int node = numa_node(m);
        printf("thread %d: node %d\n",20,node);
      }
    }
  }
}

Я использую aligned_alloc, пытаясь выделить только страницу, выровненную так, чтобы когда этот поток «касается» этой страницы, он будет сопоставлен с узлом NUMA, где находится этот поток (политика первого касания). Затем я использую mlock, который вы можете проверить в этом вопросе . Я полагаю, что я использую первое касание, так как я ничего не изменил, но я не знаю, как это проверить, чтобы убедиться.

Я компилирую это с icc -fopenmp -lnuma и работаю с KMP_AFFINITY=granularity=fine,compact, OMP_NUM_THREADS=80 и numactl -m 0,1 ./numa. Я использую это сходство, так как думаю, что оно выполняет то же назначение, что и numactl, видит систему. Это выводит:

NUMA test(pgsize=4096)
thread 20: node 0

Итак, эта программа говорит, что поток 20 находится в узле 0, но numactl говорит, что поток 20 находится в узле 1. Почему? Я ожидал увидеть одинаковый результат на обоих.

Answer 1

Запрошенный параметр привязки compact будет помещать последовательные потоки в соседние аппаратные потоки (Hyperthreading) на одном и том же ядре. Нумерация процессора ОС нумерует дополнительные аппаратные потоки позже, поэтому процессоры 0 и 40 находятся на одном ядре. Отображение будет следующим:

tid -> cpu
0 -> 0
1 -> 40
2 -> 1
3 -> 41
...
20 -> 10

Вы можете увидеть это, добавив ,verbose к KMP_AFFINITY. Если вы хотите прямое сопоставление, вы можете использовать GOMP_CPU_AFFINITY=0-79 вместо KMP_AFFINITY настроек. Это должно сделать трюк, чтобы получить память на правильном узле NUMA.