Свяжите сокет быстрее

Question

У меня есть BackGroundWorker, который я использую для прослушивания через порт
Он работает довольно хорошо, проблема в том, что после того, как я отправил данные и отключился, если я пытаюсь подключиться снова, клиент выдает мне ошибку, потому что приложение занимает время для повторного подключения к сокету возникает ошибка: «Соединение отклонено удаленным хостом»
В приведенном ниже коде требуется почти 5 секунд для listener.Bind (endPoint) что может я могу улучшить свое приложение?

using System.Net.Sockets;

class Program
{

    private static BackgroundWorker worker = new BackgroundWorker();

    static void Main(string[] args)
    {
        Program P = new Program();

        P.notifyIcon1.Visible = true;
        P.ipaddress = IPAddress.Any;
        P.tcpServer = new TcpServer(P.ipaddress.ToString(), 3001);

        worker.DoWork += worker_DoWork;
        worker.RunWorkerCompleted += worker_RunWorkerCompleted;
        //worker.ProgressChanged += worker_ProgressChanged;
        worker.WorkerReportsProgress = true;
        worker.WorkerSupportsCancellation = true;
        if (!worker.IsBusy) worker.RunWorkerAsync();

        Console.WriteLine("Press ENTER to exit the server.");
        Console.ReadLine();
    }


    static void worker_DoWork(object sender, DoWorkEventArgs e)
    {
         IPEndPoint endPoint;
        Socket tcpClient;
        Socket listener;
        int pendingConnectionQueueSize;
        IPAddress ipaddress = IPAddress.Any;

        endPoint = new IPEndPoint(ipaddress, 3001);

        pendingConnectionQueueSize = 100;
        listener = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp);
        listener.Bind(endPoint);
        listener.Listen(pendingConnectionQueueSize);

        Console.WriteLine("conn..");
        byte[] receiveBuffer = new byte[4096];
        tcpClient = listener.Accept();
        tcpClient.RemoteEndPoint.ToString();

       while ((rc = tcpClient.Receive(receiveBuffer)) > 0)
        {               
             string msg = Encoding.ASCII.GetString(receiveBuffer);    
             Console.WriteLine(msg.Trim());
        }
        listener.Shutdown(SocketShutdown.Both);
        listener.Close();
    }
    static void worker_RunWorkerCompleted(object sender, RunWorkerCompletedEventArgs e)
    {
        if (!worker.IsBusy) worker.RunWorkerAsync();//restart    
    }

}