Я попробовал это сам. К сожалению, Git не слишком сильно сжимает нетекстовые файлы. Таким образом, у вас получится Git-репозиторий, почти такой же большой, как ваши файлы, и, возможно, намного больше, если какой-либо из этих двоичных файлов окажется версионным.
Теперь, если у вас есть пара дисков емкостью 1 ТБ, возможно, вы не возражаете против занимаемого места. Но если вы не хотите выделять половину или больше основного диска на резервное копирование, но вам нужно какое-то управление версиями, лучшим решением может быть резервное копирование двоичных файлов с помощью другой программы, но изоляция текстовых файлов в другом месте и только те, в Git.