Несколько портов не влияют на производительность. Это просто информационные слоты для направления трафика.
Простой TCP, вероятно, будет самым быстрым решением. Проблема производительности, вероятно, связана с вашим кодом, а не с архитектурой. Попробуйте выполнить анализ производительности, чтобы увидеть, где находятся точки использования ЦП и выделения памяти.