RijndaelManaged - это просто .NET-реализация алгоритма Rijndael.Rijndael - это алгоритм, который был выбран для AES, но AES не использует все длины ключей, которые возможны с Rijndael (AES - это подмножество Rijndael).
Если ключи, которые ваш код использует с RijndaelManaged, также являются действительными ключами AES, вы можете просто использовать функциональность AES OpenSSL;иначе я не уверен ... но я бы посоветовал вам придерживаться подмножества AES в Rijndael, потому что это то, что делают все остальные, и это поможет вам достичь совместимости.