Если вы используете V (заглавные буквы), вы переходите в режим VISUAL LINE. Для режима VISUAL вы должны использовать v (строчные буквы).
А если вы используете стандартные клавиши управления движением (hjkl), все работает нормально.
Если вам не нравятся клавиши перемещения по умолчанию, используйте следующие сопоставления:
:map <Up> k
:map <Down> j
:map <Left> h
:map <Right> l