Я индексирую набор веб-сайтов с очень большим количеством страниц (десятки миллионов), созданных из...
Я "зачищаю" свои собственные страницы как временный взлом, используя WebRequest .NET. Это хорошо...