С помощью API JavaMail вы можете попробовать отправить электронное письмо и проверить, было ли оно отправлено успешно.
С точки зрения подключения вы можете просто пропинговать его:
InetAddress host = InetAddress.getByName("mailserver");
System.out.println("host.isReachable(1000) = " + host.isReachable(1000));