Насколько я знаю, это вообще то, что PHP не очень хорошо делает.
Он просто не поддерживает многопоточность, и потоки - это именно то, что вы хотите (выполнить все запросы http одновременно, чтобы их задержка была объединена).
Возможно, вы можете переместить эту часть логики в браузер, используя JavaScript? Объект XMLHTTPRequest в JavaScript поддерживает многопоточность.
Насколько я знаю, единственный способ сделать это в PHP - это использовать необработанные сокеты (fsockopen(); fwrite(); fread(); fclose();
), но это не для сердца ... вам нужно быть знакомым с Спецификация HTTP.
И, наконец, сильно ли меняется контент? Возможно, у вас может быть локальный кеш HTML в базе данных и задание cron (которое может запускаться каждые 30 секунд) для восстановления кеша? Это может быть нарушением условий обслуживания Google.
Действительно, лучшим решением было бы установить связь с сервером с другим языком, поддерживающим многопоточность, и поговорить об этом с помощью своего PHP-скрипта. Я бы вероятно использовал Ruby.