В моей ситуации это происходит, когда происходит анимация увеличения, и я удаляюсь от этого вида карты.
Я избегаю этого сбоя, отключив анимацию:
self.mapView.selectAnnotation(annotation, animated: false)
self.mapView.setCenter(annotation.coordinate, animated: false)