Java использует формат PKCS12 для хранилища ключей.(есть также более старый формат JKS)
Jetty использует Java, поэтому необходим формат PKCS12.
Вам нужно будет преобразовать свои закрытые / открытые ключи / сертификаты RSA, чтобы добавить их вХранилище ключей Java в формате, понятном Java.