Это происходит, когда vim находится в "vi-совместимом" режиме; Я не уверен, какой именно параметр управляет поведением, вероятно ": set backspace".
Выполнение ": установить nocompatible" заставит его вести себя так, как вы ожидаете; если у вас нет таких ожиданий, то выполнение ": set nocompatible", вероятно, хорошо.