Я нашел решение, которое включает в себя экспорт сертификатов .key и .pem в файл .p12, а затем импортирует этот файл .p12 в java хранилище ключей (.jks).
В экспортируйте .pem и .key вместе в .p12 с помощью этой команды:
openssl pkcs12 -export -in <path to .pem cert> -inkey <path to .key cert> -out <desired name of the .p12 file with the extension> -name <cert alias>
Затем импортируйте .p12 в хранилище ключей java с помощью этой команды:
keytool -importkeystore -v -srckeystore <path to .p12 file> -srcstoretype PKCS12 -destkeystore <path to .jks> -deststoretype JCEKS