Я делаю этот сканер папок на веб-сайте, но после 2-х успешных URL-адресов он вылетит, и я понятия не имею, почему.
Вам необходимо закрыть объект HTTPWebResponse,
response.Close()