в функции Crossmultiplication, ваши значения для DenominatorA и DenominatorB не инициализированы должным образом. Попробуйте изменить это на что-то вроде
int CrossMultiplication (int NumeratorA, int DenominatorA, char Operation, int NumeratorB, int Denominator B)
и соответственно измените вызов функции.
Кроме того, ваш оператор возврата должен находиться за пределами конструкции коммутатора. Как и сейчас, он никогда ничего не вернет. В качестве альтернативы вы можете полностью избавиться от переменной NewNumerator и написать ее так:
switch (Operation) {
case '+': return NumeratorA*DenominatorB + NumeratorB*DenominatorA;
case '-': return NumeratorA*DenominatorB - NumeratorB*DenominatorA;
}