RSA (естественно) используется в качестве асимметричного алгоритма, который используется для защиты симметричного ключа, который зашифрован и хранится вместе с защищенными данными.
Если вы посмотрите на соответствующий код в Reflector, то есть явный признак того, что симметричный алгоритм, используемый для защиты данных, является AES256 ("http://www.w3.org/2001/04/xmlenc#aes256-cbc"), хотя TripleDES также поддерживается.
Используйте Reflector или JustDecompile и посмотрите на:
public EncryptedData Encrypt (XmlElement inputElement, строка keyName);
Объявление типа: System.Security.Cryptography.Xml.EncryptedXml