Весь репо должен быть клонирован только один раз. После того, как вы получили большинство файлов, загружаются / загружаются только те, которые были изменены.
Так что нет, вы не должны хранить свой контроль версий отдельно от вашего проекта. Для вас наиболее удобно иметь возможность фиксировать изменения по мере их внесения из каталога, в котором вы работаете.
Для git изменения также фиксируются локально (что очень быстро), вы можете выталкивать / извлекать из Интернета только тогда, когда хотите.