Отладка ошибки сегментации в многопоточной (с использованием клона) программе - PullRequest
5 голосов
/ 24 января 2010

Я написал код для создания некоторых потоков, и всякий раз, когда один из потоков завершается, создается новый поток для его замены. Поскольку я не смог создать очень большое количество потоков (> 450), используя pthreads, я использовал вместо этого системный вызов clone. (обратите внимание, что я знаю о значении такого огромного количества потоков, но эта программа предназначена только для нагрузки системы) .
Поскольку clone () требует, чтобы в качестве параметра было указано пространство стека для дочернего потока, я выделяю необходимый фрагмент стека для каждого потока и освобождаю его по окончании потока. Когда поток завершается, я посылаю сигнал родителю, чтобы уведомить его об этом.
Код указан ниже:

#include <sched.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <signal.h>
#include <unistd.h>
#include <errno.h>

#define NUM_THREADS 5

unsigned long long total_count=0;
int num_threads = NUM_THREADS;
static int thread_pids[NUM_THREADS];
static void *thread_stacks[NUM_THREADS];
int ppid;

int worker() {
 int i;
 union sigval s={0};
 for(i=0;i!=99999999;i++);
 if(sigqueue(ppid, SIGUSR1, s)!=0)
  fprintf(stderr, "ERROR sigqueue");
 fprintf(stderr, "Child [%d] done\n", getpid());
 return 0;
}

void sigint_handler(int signal) {
 char fname[35]="";
 FILE *fp;
 int ch;
 if(signal == SIGINT) {
  fprintf(stderr, "Caught SIGINT\n");
  sprintf(fname, "/proc/%d/status", getpid());
  fp = fopen(fname,"r");
  while((ch=fgetc(fp))!=EOF)
   fprintf(stderr, "%c", (char)ch);
  fclose(fp);
  fprintf(stderr, "No. of threads created so far = %llu\n", total_count);
  exit(0);
 } else
  fprintf(stderr, "Unhandled signal (%d) received\n", signal);
}


int main(int argc, char *argv[]) {
 int rc, i; long t;
 void *chld_stack, *chld_stack2;
 siginfo_t siginfo;
 sigset_t sigset, oldsigset;

 if(argc>1) {
  num_threads = atoi(argv[1]);
  if(num_threads<1) {
   fprintf(stderr, "Number of threads must be >0\n");
   return -1;
  }
 }
 signal(SIGINT, sigint_handler);

 /* Block SIGUSR1 */
 sigemptyset(&sigset);
 sigaddset(&sigset, SIGUSR1); 
 if(sigprocmask(SIG_BLOCK, &sigset, &oldsigset)==-1)
  fprintf(stderr, "ERROR: cannot block SIGUSR1 \"%s\"\n", strerror(errno));

 printf("Number of threads = %d\n", num_threads);
 ppid = getpid();
 for(t=0,i=0;t<num_threads;t++,i++) {
  chld_stack = (void *) malloc(148*512);
  chld_stack2 = ((char *)chld_stack + 148*512 - 1);
  if(chld_stack == NULL) {
   fprintf(stderr, "ERROR[%ld]: malloc for stack-space failed\n", t);
   break;
  }
  rc = clone(worker, chld_stack2, CLONE_VM|CLONE_FS|CLONE_FILES, NULL);
  if(rc == -1) {
   fprintf(stderr, "ERROR[%ld]: return code from pthread_create() is %d\n", t, errno);
   break;
  }
  thread_pids[i]=rc;
  thread_stacks[i]=chld_stack;
  fprintf(stderr, " [index:%d] = [pid:%d] ; [stack:0x%p]\n", i, thread_pids[i], thread_stacks[i]);
  total_count++;
 }
 sigemptyset(&sigset);
 sigaddset(&sigset, SIGUSR1); 
 while(1) {
  fprintf(stderr, "Waiting for signal from childs\n");
  if(sigwaitinfo(&sigset, &siginfo) == -1)
   fprintf(stderr, "- ERROR returned by sigwaitinfo : \"%s\"\n", strerror(errno));
  fprintf(stderr, "Got some signal from pid:%d\n", siginfo.si_pid);

  /* A child finished, free the stack area allocated for it */ 
  for(i=0;i<NUM_THREADS;i++) {
   fprintf(stderr, " [index:%d] = [pid:%d] ; [stack:%p]\n", i, thread_pids[i], thread_stacks[i]);
   if(thread_pids[i]==siginfo.si_pid) {
    free(thread_stacks[i]);
    thread_stacks[i]=NULL;
    break;
   }
  }
  fprintf(stderr, "Search for child ended with i=%d\n",i);
  if(i==NUM_THREADS) 
   continue;
  /* Create a new thread in its place */
  chld_stack = (void *) malloc(148*512);
  chld_stack2 = ((char *)chld_stack + 148*512 - 1);
  if(chld_stack == NULL) {
   fprintf(stderr, "ERROR[%ld]: malloc for stack-space failed\n", t);
   break;
  }
  rc = clone(worker, chld_stack2, CLONE_VM|CLONE_FS|CLONE_FILES, NULL);
  if(rc == -1) {
   fprintf(stderr, "ERROR[%ld]: return code from clone() is %d\n", t, errno);
   break;
  }
  thread_pids[i]=rc;
  thread_stacks[i]=chld_stack;
  total_count++;
 }
 fprintf(stderr, "Broke out of infinite loop. [total_count=%llu] [i=%d]\n",total_count, i);
 return 0;
}

Я использовал пару массивов для отслеживания pid дочерних процессов и базового адреса области стека (для его освобождения).
Когда я запускаю эту программу, она заканчивается через некоторое время. Запуск с GDB говорит мне, что один из потоков получает SIGSEGV (ошибка сегментации). Но это не дает мне никакого местоположения, вывод похож на следующее:

Program received signal SIGSEGV, Segmentation fault.
[Switching to LWP 15864]
0x00000000 in ?? ()

Я попытался запустить его под valgrind с помощью следующей командной строки:

valgrind --tool=memcheck --leak-check=yes --show-reachable=yes -v --num-callers=20 --track-fds=yes ./a.out

Но он продолжает работать без каких-либо проблем в Valgrind.
Я озадачен тем, как отлаживать эту программу. Я чувствовал, что это может быть какое-то переполнение стека или что-то подобное, но увеличение размера стека (до 74 КБ) не решило проблему.
Мой единственный вопрос - почему и где ошибка сегментации или как отлаживать эту программу.

Ответы [ 2 ]

4 голосов
/ 25 января 2010

Найдена актуальная проблема.
Когда рабочий поток сигнализирует родительскому процессу с помощью sigqueue (), родительский элемент иногда сразу же получает элемент управления и освобождает стек, прежде чем дочерний элемент выполнит оператор return. Когда тот же дочерний поток использует оператор return, он вызывает ошибку сегментации, так как стек поврежден.
Для решения этой проблемы я заменил

exit(0)

вместо

return 0;
1 голос
/ 24 января 2010

Я думаю, что нашел ответ

Шаг 1

Заменить это:

static int thread_pids[NUM_THREADS];
static void *thread_stacks[NUM_THREADS];

По этому:

static int *thread_pids;
static void **thread_stacks;

Шаг 2

Добавьте это в основную функцию (после проверки аргументов):

thread_pids = malloc(sizeof(int) * num_threads);
thread_stacks = malloc(sizeof(void *) * num_threads);

Шаг 3

Заменить это:

chld_stack2 = ((char *)chld_stack + 148*512 - 1);

Под этим:

chld_stack2 = ((char *)chld_stack + 148*512);

В обоих местах вы используете его.

Я не знаю, действительно ли это ваша проблема, но после тестирования я не получил никаких ошибок сегментации. Кстати, я получал ошибки сегментации только при использовании более 5 потоков.

Надеюсь, я помог!

edit: протестировано с 1000 потоков и отлично работает

edit2: Объяснение, почему статическое выделение thread_pids и thread_stacks вызывает ошибку.

Лучший способ сделать это на примере.

Предположим, num_threads = 10;

Проблема возникает в следующем коде:

for(t=0,i=0;t<num_threads;t++,i++) {
...

thread_pids[i]=rc; 
thread_stacks[i]=chld_stack;

...
}

Здесь вы пытаетесь получить доступ к памяти, которая не принадлежит вам (0 <= i <= 9, но оба массива имеют размер 5). Это может вызвать либо ошибку сегментации, либо повреждение данных. Повреждение данных может произойти, если оба массива будут размещены один за другим, что приведет к записи в другой массив. Сегментация может произойти, если вы записываете в память, которую вы не выделили (статически или динамически). </p>

Возможно, вам повезет и у вас вообще нет ошибок, но код, безусловно, небезопасен.

О неприведенном указателе: я думаю, мне не нужно объяснять больше, чем в моем комментарии.

...