Чтобы расширить принятый ответ @Lucas:
Назовите это из своей активности в одном из событий раннего жизненного цикла:
getWindow().setSoftInputMode(WindowManager.LayoutParams.SOFT_INPUT_STATE_HIDDEN);
Kotlin Пример:
override fun onResume() {
super.onResume()
window.setSoftInputMode(WindowManager.LayoutParams.SOFT_INPUT_STATE_HIDDEN)
}