Если вы используете библиотеки только для заголовков, ваш системный компилятор не имеет значения - важен только ваш компилятор проекта.
Однако, если вы начнете использовать предварительно скомпилированные библиотеки наддува, они должны быть скомпилированы с вашим компилятором проекта, в противном случае вы потенциально (и, скорее всего,!) в конечном итоге столкнетесь с несовместимостью ABI, проявив (в лучшем случае) с ошибками связывания, а в худшем случае со случайными ошибками и сбоями в вашем приложении.