Вы либо полностью анализируете язык, либо просто ищете известные шаблоны, например, регулярные выражения. Не существует единого метода для всех языков, каждый требует своего собственного набора правил.
Синтаксический анализ обычно дает лучшее качество, но правила регулярных выражений легче создать.