Вероятно, что вы не установили промежуточные сертификаты в цепочке на сервере. Это приводит к тому, что сервер не отправляет их клиенту, и клиент должен самостоятельно извлекать их, что вызывает задержку. Убедитесь, что все сертификаты в цепочке сертификатов, кроме корневого, присутствуют в хранилище промежуточных ЦС локального компьютера.
Вы можете использовать Wireshark или аналогичный инструмент, чтобы посмотреть сетевой трафик и посмотреть, какие сертификаты отправляются с сервера на клиент. Если бы вы могли перехватывать сетевой трафик клиента, вы можете увидеть, верна ли моя теория, приведенная выше, или нет, и в чем причина задержки.