Использование GPS_PROVIDER требует некоторого времени для получения обновлений местоположения, вероятно, из-за его точности, на мой взгляд. Вы могли бы также вместо того, чтобы запрашивать новое местоположение, запросить более старое местоположение, которое немного устарело (скажем, например, 2 минуты назад) и которое было бы почти готово к использованию.
Однако я бы порекомендовал НЕ использовать Location Manager вообще, поскольку он устарел и был заменен на более чистый и производительный API-интерфейс Fused Location Provider . Он имеет поддержку последнего местоположения, обновлений местоположения, и в настоящее время это метод, который рекомендует Google.