Ошибка в этой строке:
double bc = (2 * (Math.pow(AB, 2) + Math.pow(AC, 2) - ((AB * AC))) * CosOfAngle);
, которая должна быть:
double bc = Math.pow(AB, 2) + Math.pow(AC, 2) - 2 * AB * AC * CosOfAngle;
Вы умножали всю формулуна 2, тогда как только косинусную часть нужно умножить на два.Было слишком много запутанных скобок.Удаление их сделало это намного яснее.