Не делай этого.
IIS работает быстро.Нет оснований полагать, что вы сможете написать сервер самостоятельно, это значительно быстрее.Пользовательский веб-сервер добавит ровно ноль дополнительных значений, но для его реализации потребуется некоторое время.И вам придется беспокоиться о безопасности, обслуживании и т. Д.
Если вам не нужны служебные данные страницы ASP .NET, хорошими вариантами являются службы WCF, размещенные в IIS, или просто простой IHttpHandler.Я совершенно уверен, что вы можете преодолеть проблемы с производительностью без специального веб-сервера.
Попробуйте оценить, что отнимает время.Например, сначала измерьте время выполнения на стороне сервера.Затем измерьте время передачи (например, используя Fiddler ).Какой из них занимает время?Если вы много работаете с клиентом (например, обрабатываете полученные данные), это также может быть причиной задержки.