Вы можете указать атрибут 'AttributeUage' в вашем классе атрибутов, например:
[AttributeUsage(AttributeTargets.Class, Inherited=false)]
public class AuthorizeAttribute : Attribute
{
}
Тогда классы, производные от класса, к которому вы применили атрибут, не будут наследовать атрибут.
Ой, теперь я понимаю, что атрибут Authorize не является пользовательским атрибутом.