В UDP IP-адрес назначения и номер порта назначения используются для демультиплексирования пакетов, но в IP-адресе назначения TCP, IP-адресе источника, номере порта назначения и номерах портов источника (4-кортеж) все необходимо, чтобы различать соединения, почему для это использование.