Из коробки git может легко добавлять двоичные файлы в свой индекс, а также сохранять их эффективным способом, если вы не будете часто обновлять большие несжимаемые файлы.
Проблемы начинаются, когда git нужно генерировать diff-файлы и объединять: git не может генерировать значимые diff-файлы или объединять двоичные файлы любым способом, который может иметь смысл. Поэтому при всех слияниях, перебазировках или выборках, связанных с изменением двоичного файла, вам придется вручную разрешать конфликты этого двоичного файла.
Вам необходимо решить, достаточно ли редки изменения двоичных файлов, чтобы вы могли жить с дополнительной ручной работой, которую они вызывают в обычном рабочем процессе git, включающем слияния, ребазировки, вишни.