Вы не упоминаете, какую платформу (ы) вы используете, но это важно, потому что это одна из тех областей, где у вас есть различия между платформами.
В разделе [3.1.4] [1] спецификации VoiceXMl 2.0 говорится, что inputmodes = "dtmf" не деактивирует речевые грамматики, а лишь делает невозможным их сопоставление. Таким образом, если вы отключите грамматику распознавания речи, вы будете надеяться, что указатель конца не позволит использовать речевую реплику, но это не обязательно запрещено спецификацией.
Запрет любых расширений для конкретной платформы, которые вы можете использовать, вы также можете рассмотреть свойство чувствительности. Если установить значение 0, ASR прекратит прослушивание речи.
Вы также можете попробовать установить для свойства bargeintype значение "hotword", если ваша платформа поддерживает это. Это не отключит речевые грамматики, но уменьшит вероятность того, что пользователи не будут слышать подсказки из-за помех, связанных с шумом, которых иногда достаточно для работы приложения.