Это зависит от вашего определения масштабируемости. Система, которую вы описали с одним потоком на соединение, масштабируется до сотен, может быть даже пара тысяч одновременных соединений, в какой-то момент она ударит в стену.
Ваш вопрос говорит о том, что ваши клиенты подключаются и остаются подключенными в течение длительного периода времени, было бы возможно иметь один поток ввода-вывода для обработки чтения и записи, но обработать запрос, отправленный другому потоку, используя Палач.
Существуют фреймворки / серверы, которые уже написаны для обработки такого рода событийно-ориентированного проектирования. Посмотрите на:
Стоит отметить, что мир полон неудачных стартапов и программных продуктов с действительно масштабируемой архитектурой. Масштабирование - это хорошая проблема, лучше иметь проблему, чем не иметь ее и не иметь клиентов.