C не имеет «передачи по ссылке», как C ++.Чтобы реализовать что-то вроде этого, вам нужно использовать указатели :
int pop(int *x, int *y);
... и где-то еще, в функции ...
int a, b;
int c = pop(&a, &b);
(Трудно точно знать, какие детали синтаксиса дать, не зная больше о том, какими должны быть аргументы.)