Это связано с тем, что представления обновляются только при вызове onDraw (), что происходит из-за активности на экране (например, касаясь ее) или когда это делается программно.
Вы хотите форсировать это: используйте метод invalidate (), унаследованный от View.
Если удаление происходит внутри вашего SurfaceView, просто напишите invalidate () ПОСЛЕ того, как вы закончите удаление. Если это происходит снаружи, тогда просто сделайте surfaceViewInstance.invalidate ().
Надеюсь, это поможет