Первое, что вы должны сделать, это снять квадратные скобки:
printf("this array sorted: %x\n", rec_sort(vals, 4));
Во-вторых, обратите внимание, что rec_sort возвращает void, поэтому вы не можете использовать возвращаемое значение
вам нужно
int i; // at the top of the main
// ...
rec_sort(vals, 4);
printf("this array sorted: ");
for(i = 0; i < 4; ++i) printf("%x ", vals[i]);
printf("\n");
Третье: вам нужно снова вызвать rec_sort
Четвертое: что вы пытаетесь сделать с оператором system
?