Прямо тогда ...
Для начала вот водопад загрузки страницы, сгенерированный с помощью амстердамского экземпляра webpagetest.org http://www.webpagetest.org/result/111230_1A_2PFQ6/1/details/
Ваш сервер выглядит довольно медленно при генерации / обслуживании базовой страницы и статических ресурсов, но есть и другие проблемы.
Вы хотите загрузить CSS как можно скорее, но задержать JS как можно дольше.
Я бы попытался упростить CSS-файлы, а затем объединить и минимизировать их.
Для JS отработайте то, что вам действительно нужно для рендеринга страницы, и отложите все остальное до позднего момента, включив его в конец тела или загрузив его асинхронно, см. Статью Стояна о том, как вам следует загружать кнопки социальных сетей http://www.phpied.com/social-button-bffs/
Вам также необходимо включить gzip для текстового контента, например, HTML, CSS, JS и т. Д. Подозреваю, что ваши изображения могут быть сжаты и дальше.
Судя по тому, что я видел в водопаде, то, как вы используете JS, является большой частью медлительности.