Поскольку вы уже используете Bouncy Castle, просто внедрите простую схему PBE (шифрование на основе пароля), чтобы разрешить шифрование хранимых записей. Для примера того, как это сделать, взгляните на простое приложение, которое я написал много лет назад.
http://www.eaves.org/jon/j2me/pocket.shtml
Если вы посмотрите на пакет .record, вы увидите, что я сделал для шифрования и хранения отдельных записей.
Недостатком этого подхода является то, что вам нужно заставить пользователя выбрать «фразу-пароль» и использовать ее как часть PBE. Я не знаю ни одного другого подхода, чтобы делать то, что вы хотите, и поддерживать безопасность хранящейся информации. Любая попытка «спрятать» ключ бесполезна и небезопасна.