Вы должны использовать CMake для генерации файлов проекта Visual Studio. Фиксируйте только источник, заголовок и CMakeLists.txt.
Работа с отдельным путем сборки. Например, если ваша структура проекта похожа на
Project\Src
Project\Doc
Project\......
создать папку для сборки, например
Project\build
и сгенерируйте файлы VS-Solution и Project в эту папку. CMake (надеюсь :)) найдет все библиотеки и установит правильные пути включения и библиотеки для VS. Файлы проекта VS генерируются только в том случае, если в проект добавлены новые исходные файлы. CMake обнаружит это автоматически и предложит повторно создать файлы проекта.
Так мы работаем, и у нас все хорошо. :)