Используйте субмодули для размещения библиотек.Если ваша платформа разработки поддерживает пакеты, вы можете отказаться от них и просто указать спецификации вместе с кодом.
Если вам нужно хранить двоичные файлы, разместите двоичные файлы в публичном репозитории где-нибудь бесплатно, например, GitHub.Основной репо может храниться в приватном репо