Это немного хакерски, но вы можете проверить действие в методе OnActionExecuting фильтра, например так:
var controllerName = filterContext.RouteData.Values["controller"].ToString();
var actionName = filterContext.RouteData.Values["action"].ToString();
if (controllerName == "Foo" && actionName == "Bar")
{
return;
}
//do normal stuff