Если вам действительно нужно создать собственную реализацию протокола с RSA, OpenSSL может вам помочь. Это криптографический инструментарий с открытым исходным кодом, который реализует все распространенные криптоалгоритмы, включая RSA. Его можно скомпилировать под iOS, и даже есть крошечная оболочка Objective C под названием SSCrypto , которая делает его использование очень удобным.
Вы также можете использовать API CommonCrypto или API-интерфейс платформы безопасности, который поставляется с iOS, но я считаю, что они намного сложнее, чем комбинация OpenSSL + SSCrypto