Оба эти макроса C определены в openssl / bio.h:
/usr/include/openssl/bio.h:# define BIO_set_conn_hostname(b,name) BIO_ctrl(...)
/usr/include/openssl/bio.h:# define BIO_get_ssl(b,sslp) BIO_ctrl(...)
Благодарим Виктора Духовного, который ответил на это в списке рассылки openSSL.