Использование регулярного выражения с отрицательным прогнозом должно работать:
RedirectMatch 301 /a/b/(?!EXCLUDE.php) http://new.com/y/z/
Если вы хотите, чтобы остаток пути был перенесен с перенаправлением, используйте обратную ссылку $ 1, как в:
RedirectMatch 301 /a/b/(?!EXCLUDE.php) http://new.com/y/z/$1