Используются ли регулярные выражения непосредственно в компиляторах для идентификации токенов?
Да. Многие компиляторы используют сгенерированный сканер, правила токена которого определены как RE для DFA. Flex (1) является ярким примером.
Я не понимаю вторую часть вашего вопроса.