Спасибо Майклу Доргану, который указал мне правильное направление.Я получил эти две функции:
const char* keyFromRSA(RSA* rsa, bool isPrivate)
{
BIO *bio = BIO_new(BIO_s_mem());
if (isPrivate)
{
PEM_write_bio_RSAPrivateKey(bio, rsa, NULL, NULL, 0, NULL, NULL);
}
else
{
PEM_write_bio_RSA_PUBKEY(bio, rsa);
}
const int keylen = BIO_pending(bio);
char* key = (char *)calloc(keylen+1, 1);
BIO_read(bio, key, keylen);
BIO_free_all(bio);
return key;
}
RSA* rsaFromPrivateKey(const char* aKey)
{
RSA* rsa = NULL;
BIO *bio = BIO_new_mem_buf(aKey, strlen(aKey));
PEM_read_bio_RSAPrivateKey(bio, &rsa, 0, 0);
BIO_free_all(bio);
return rsa;
}