Git работает иначе, чем Subversion. В Subversion теги и ветки реализованы как разные пути. В Git ветки и теги - это не разные пути, а метки / дескрипторы конкретной ревизии (со всей ее историей).
Чтобы сделать полное резервное копирование, достаточно в Git скопировать / сделать резервную копию всего рабочего дерева (ИЛИ клонировать в пустой репозиторий, чтобы сэкономить место, потому что тогда нет извлечения, ИЛИ не отправлять ваши изменения в удаленный репозиторий, например, на GitLab / GitHub).
Каждый репозиторий Git всегда (в обычном случае) содержит ВСЕ истории. Это работает, потому что Git - распределенная VCS, и в основном все репозитории равны, и ни один не является специальным (например, в Subversion). Центрального места не существует (иногда одно место определяется как центральное место обмена, но в этом нет необходимости).