Когда вы создаете экземпляр SshPrivateKeyFile, вы можете затем вызвать toPrivateKey для этого объекта, чтобы создать объект SshPrivateKey. Этот метод toPrivateKey принимает строку, которая является вашей парольной фразой. Если у вас нет ключевой фразы, передайте пустую строку (или я считаю, что также работает ноль). Вот образец.
PublicKeyAuthenticationClient sshClient = new PublicKeyAuthenticationClient();
SshPrivateKeyFile sshPrivKeyFile = SshPrivateKeyFile.parse(new File(keyFile));
SshPrivateKey sshPrivKey = sshPrivKeyFile.toPrivateKey("passphrase");
sshClient.setKey(sshPrivKey);