В BouncyCastle FAQ есть некоторые записи, связанные с деталями реализации RSA.
Лично я не нашел ничего написанного о том, что поставщики Sun и BC несовместимы, и я предлагаю использовать нативную реализацию RSA Java, если из-за этого можно полностью исключить зависимость BouncyCastle. Вы должны добавлять внешние зависимости только в том случае, если от этого есть четко определенная выгода.
Если вы используете библиотеку BC где-то еще в своем проекте, я думаю, не имеет значения, какой поставщик использовать.
EDIT
J2ME не включает реализацию RSA. Поэтому, если вы планируете портировать свое приложение на J2ME, библиотека BouncyCastle - правильный путь.