У меня была такая же ошибка. После некоторых исследований, похоже, работает, когда я вручную указываю MessageDigest, например:
var certificate = ca.ProcessRequest(req, Now, Now.AddDays(365), MessageDigest.SHA1)
Вы также можете указать дайджест сообщения по умолчанию в вашем openssl.conf: default_md
. Но вы, вероятно, инициализировали CA без конфига, как и я:)
var ca = new X509CertificateAuthority(pkcs12.Certificate, pkcs12.PrivateKey, new SimpleSerialNumber(42), null);
Я знаю, что вы сдались и использовали BouncyCastle, но, надеюсь, это пригодится кому-то еще:)