Сжатие требует времени. Чем лучше сжатие, тем дольше он работает, и Speex является довольно хорошим сжатием.
2 секунды времени настольного компьютера - это абсолютно возраст.
JSpeex - это реализация Java. Используйте собственную реализацию, в идеале вместо этого используйте кодеки платформы.
На телефонах речь лучше всего сжимается с использованием AMR - не обязательно с лучшим качеством / сжатием, но, скорее всего, аппаратно ускоряется, поскольку это формат, используемый GSM. Обычно вы можете получить AMR прямо с микрофона.
Как вы получаете большие файлы WAV на устройство Android? Если это действительно выход микрофона, рассмотрите возможность использования AMR, как описано выше.
Если вам нужен Speex и у вас есть файл wav, рассмотрите возможность отправки его на сервер для сжатия.