Да, вам нужен второй разъем. TCP-сокет ориентирован на соединение, поэтому он полезен только для управления одним соединением между двумя хостами.
Как правило, вы можете использовать сокет, открытый на хорошо известном порту, чтобы установить соединение между клиентами и сервером. Затем, когда соединение установлено, вы можете перенести его в другой сокет.