Смысл использования SSL / TLS в том, чтобы клиент мог быть уверен, что он подключается к нужному сервису, а не к какой-то фиктивной службе, которая пытается выдать себя за реальную. Если (гипотетически) сертификат сервера не должен содержать никакой информации, идентифицирующей хост, то клиент, если сервер, с которым он вел переговоры, был правильным.
На самом деле, вам нужна проверка по DNS-адресу, потому что если вы этого не сделаете, ваша проверка SSL бесполезна. (Или, по крайней мере, нигде не так безопасно, как могло бы быть.)
Полагаю, теоретически вы могли бы попытаться установить связь между клиентом и сервером по каналам, защищенным другими средствами, кроме SSL / TLS. Но вам понадобится серьезный опыт в технологии безопасности и шифрования Java.