Ничто в рукопожатии TLS не указывает, если клиент не проверяет сертификат сервера вообще или не должным образом. Поэтому API OpenSSL не может быть создан для возврата такой информации.
Единственный способ, которым сервер может обнаружить такое неправильное поведение, - это предоставить недействительный сертификат и посмотреть, принимает ли клиент его неправильно, то есть продолжает рукопожатие TLS и отправляет данные приложения.