Это действительно в очереди? не истекает ли время ожидания и сбрасывается?
Возможно, вы захотите сохранить дополнительный бафф для принятия соединения, а затем сразу же закройте его, выполняйте эту работу в другом потоке, чтобы она не влияла на вашу работу. Не уверен, может ли это помочь ..