Angular.js: создать регулярное выражение для нескольких специальных символов

Question

Я создал директиву angularjs для поля ввода unitNo, чтобы запретить ввод специальных символов.Я хочу создать регулярное выражение для , только эти символы , которые будут запрещены для ввода при вводе: ^ [<> "&] . Мой код работает нормально для запрета для этого регулярного выражения, номоя проблема в том, что когда я ставлю это регулярное выражение, оно запрещает другие символы, такие как: () {} #] [, знаете, как решить эту проблему?

angular.module(ANGULAR_MODULE).directive('unitNo', function () {
    return function (scope, element, attrs) {
        element.keypress(function (event) {
            var regex = new RegExp("^[<>\"&]+$");
            var str = String.fromCharCode(!event.charCode ? event.which : event.charCode);
            if (regex.test(str)) {
                event.preventDefault();
                return false;
            }
            else if (event.keyCode == 91 || event.keyCode == 93 || event.keyCode == 123 || event.keyCode == 125 || event.keyCode == 40 || event.keyCode == 41 || event.keyCode == 92 || event.keyCode == 124) {
                event.preventDefault();
                return false;
            }
        });
    };
});