1) Абсолютно гусеничный робот может работать в Интернете. Ваш сканер может быть приложением ASP.NET, или ваша страница администрирования может запустить или остановить задачу (веб-сканер) на сервере.
2) VB.NET или C # работает. У них обоих есть обширные библиотеки для работы с сетью.
3) Я представляю, что вы ищете, это рекурсивная функция. Сначала выберите страницу для начала в Интернете (которая содержит много ссылок). Для каждой ссылки на странице снова запустите основной метод сканера. Делайте это снова и снова. Вы, вероятно, захотите ограничить, насколько «глубоко» ползти. Я полагаю, что вы также захотите поработать на каждой странице.