Как уже отмечали другие, это намного превосходит то, что вы ожидаете, поэтому это предполагает проблему где-то. Попробуйте переключить распределенные сборки - в зависимости от вашей настройки это может улучшить или замедлить их (какое-то время у нас была ситуация, когда одна машина обслуживала сборки других, но не свою). Если у вас сеть 1 Гб, то вы можете получить дополнительную производительность от распределенных сборок (особенно если у вас есть пара запасных macminis). Также включите предварительно скомпилированные заголовки и поместите в них заголовки boost и cocoa.
Если что-то все еще идет медленно, то стоит запустить монитор активности, чтобы убедиться, что вам не мешают другие процессы, или даже инструменты для получения более подробной информации. Вы можете обнаружить, что вы пытаетесь скомпилировать файлы, например, на сетевом диске, что, безусловно, замедлит работу. Также внутри XCode попробуйте запустить опцию предварительной обработки файла и посмотреть, что находится в содержимом файла (доступно по щелчку правой кнопкой мыши), чтобы убедиться, что вы не компилируете в загрузках дополнительного кода.
Также с бустом попробуйте уменьшить его, чтобы найти только те биты, которые вам нужны. Инструмент bcp, входящий в дистрибутив, будет копировать только те пакеты, к которым вы его запрашиваете, плюс все зависимости, так что вы не создаете вещи, которые не будете использовать.