Основное отличие состоит в том, что заголовки, предварительно скомпилированные clang, совместимы только с clang, а заголовки, предварительно скомпилированные GCC, совместимы только с GCC. Это разница, которая может вызвать вашу проблему.
Кроме того, предварительно скомпилированные заголовки совместимы только с определенной версией компилятора, а также с конкретным набором параметров компиляции. Если какой-либо из упомянутых аспектов изменится, эти заголовки должны быть перекомпилированы.