Если это низкий масштаб, когда у вас не будет сотен пользователей, вы можете начать с этого решения:
http://net.tutsplus.com/tutorials/javascript-ajax/how-to-create-a-simple-web-based-chat-application/
Ключевым моментом на стороне пользователя является утверждение:
setInterval (loadLog, 2500);
Это то, где пользователи заканчивают в Javascript проверять, есть ли что-нибудь новое каждые 2,5 секунды. Установите его выше, и он не будет проверять так часто, но он также не будет вызывать ошибки сервера с помощью кода PHP так часто. Это решение легко реализуемо, но также имеет тот недостаток, что если оно станет слишком популярным, ваш сервер может получить слишком много запросов, чем он может обработать.