PublicKey pubKey = myPair.getPublic();
byte[] keyBytes = pubKey.getEncoded();
Сохраните keyBytes как двоичный файл или сохраните его где-нибудь.
Сделайте это, чтобы восстановить ключ,
KeyFactory keyFactory = KeyFactory.getInstance("RSA");
X509EncodedKeySpec pubKeySpec
= new X509EncodedKeySpec(keyBytes);
PublicKey pubKey = keyFactory.generatePublic(pubKeySpec);