Если у вас нет контроля над операционной системой, вы в принципе не можете запретить пользователю доступ к тому, что у вас есть в памяти.
Следовательно, вам необходимо сохранить минимальный объем конфиденциальных данных, которые вы храните. Просто представьте, что опытный пользователь подключает отладчик, останавливает вашу программу и копает в ваших данных вишню, собирая все, что ему нужно знать.
Итак, когда вы закончите использовать пароли, установите все ссылки на null. Когда вы закончите использовать ключи, установите их ссылки на нуль. Обратите внимание, что это не поможет определенному осведомленному пользователю, но, по крайней мере, минимизирует вероятность случайного обнаружения.