Это зависит в основном от того, как вы реализуете перетаскивание. SurfaceView может быть быстрым, и нет необходимости переключаться на OpenGL ES, чтобы показать 2D ...
Узнайте, что вызывает отставание. Если задержка вызвана тем, что сенсорные события не запускаются достаточно часто, чтобы быть «свободными от задержек», что даже OpenGL не поможет ...