Я думаю, вам придется удалить его из истории ветвей, чтобы это не беспокоило вас при переходе между ревизиями, в которых находится файл, и ревизиями, в которых этот файл отсутствует.
Если Вы извлекаете ревизию, где файл равен (то есть, это часть ревизии, она была отслежена тогда), а затем вы переходите к другой, где файл больше не существует, git думает «хорошо» этот файл должен go! " и он удаляет его.
Если переписать историю ветвей (и добавить ее в .gitignore из первой ревизии), то это больше не повторится. На всякий случай переписывать историю - дело не из легких.