Городской дирижабль недавно сделал интересную запись в блоге: 500 тыс. В действии на городском дирижабле .
Для быстрой разработки приложений я бы порекомендовал Python (Twisted или Eventlet) или Ruby (EventMachine). Их должно быть достаточно для масштабирования до нескольких тысяч (незанятых) соединений. Обратите внимание, что у меня нет опыта работы с этими библиотеками, и их может быть гораздо больше.
На Скалу тоже стоит посмотреть. Он хорош для быстрой разработки приложений и имеет хорошую производительность (по сравнению с Python или Ruby), но инструменты сообщества и разработки еще не настолько развиты.
Для очень большой масштабируемости вам, вероятно, следует взглянуть на Java или Erlang.