Реализация lookahead в RegExp WSH, используемая IE , просто сломана . В этом случае ошибка обычно появляется, пытаясь использовать одно регулярное выражение для проверки нескольких вещей одновременно.
Кроме того, некоторые старые браузеры вообще не поддерживают прогнозирование (это не было в оригинальной спецификации JavaScript, хотя теперь это в ECMA-262-3). В общем, лучше избегать заглядывания в браузер RegExp.
Лучше всего разделить каждую проверку (каждый класс символов и длину) на этапы ручной проверки.