Я обнаружил, что если я запускаю SpchRecognizer.RecognizeAsyncStop () до UnloadAllGrammars (), то задержки не было. Не знаю смелости распознавателя речи, поэтому я не могу объяснить, зачем это нужно; но, по крайней мере, эмпирически, это позволяет это работать.