Нет никакого родного способа сделать это в IIS.Если вы используете asp.net, достаточно просто создать http-модуль для этой фильтрации, хотя, если мы не говорим об IIS7, будут отфильтрованы только запросы .net.
Кроме этого, вы ищетев фильтре IIS, написанном в чем-то вроде C ++ или Delphi или что-то, что может скомпилировать DLL.Их тоже нелегко написать.
Я написал нечто подобное, используя Project Honeypot (http://projecthoneypot.org/) для блокировки спамовых IP-адресов. Вы можете получить его здесь: http://code.google.com/p/blacklistprotector/