Возможно, потому что при наличии свертывания и необходимости проверять, в какой панели находится курсор, есть еще много чего выяснить.
Что касается способов справиться с этим, я использую привычку использовать подкачку страниц вместо прокрутки (^ F / ^ B для полной страницы, ^ U / ^ D для половины страницы и z для центрирования на текущей строке). По крайней мере, для меня это достаточно быстро, даже когда открыты тройные vimdiff с множеством согнутых линий.