Вам нужно передать фактический ответ, а не только предположение, так как логика не может определить, каким должно быть подходящее сочетание / max:
public static void giveHint (int guess, int actual) {
int min = actual - 5;
int max = actual + 5;
if ((guess > min) && (guess < max)) {
System.out.println("Hot..");
} else {
System.out.println("Cold..");
}
}