Обновление об этом ...
Оказывается, что этот конкретный скрипт, по-видимому, немного глючит, и что робот Google обладает невероятной способностью "нажимать на кнопки" и сводить его с ума. Скрипт - это старое коммерческое приложение, которое делает календарь. По-видимому, он отображает ссылки для «следующего месяца» и «предыдущего месяца», и если вы будете следовать «следующему месяцу» слишком много раз, вы упадете с обрыва. Полученная страница, однако, все еще содержит ссылку «в следующем месяце». Робот Google будет постоянно бить скрипт до смерти и жевать процессор.
Любопытно, что добавление robots.txt с Disallow: / не решило проблему. Либо робот Google уже завладел сценарием и не отпускает его, либо он просто игнорировал файл robots.txt.
Так или иначе, Microsoft Process Explorer (http://technet.microsoft.com/en-us/sysinternals/bb896653.aspx) очень помог мне, поскольку он позволил мне увидеть среду процесса perl.exe более подробно, и я смог определить, что это был Робот Google вызывает у меня проблемы.
Как только я это понял (и определил, что robots.txt не решит проблему), я смог использовать IIS напрямую, чтобы заблокировать весь трафик на этот сайт с * .googlebot.com, который хорошо работал в этом случае, поскольку нам все равно, индексирует ли Google этот контент.
Большое спасибо за другие идеи, которые все опубликовали!
Эрик Лонгман