Взгляните на класс X509KeyStore
Передача пароля в конструктор создаст для вас пустое хранилище ключей.
Кроме того, функцию fromFile в том же классе можно использовать для создания хранилища ключей, если оно еще не существует.
Тестовый класс X509NameConstraintsTest - хорошее место, чтобы увидеть это в действии вместе с тестом "Test save to keystore" в CompositeKeyTests.kt.