Лексер компилятора Scala

Question

Я пытаюсь получить список токенов (меня больше всего интересуют ключевые слова) и их позиций для данного исходного файла scala.

Я думаю, что внутри компилятора scala есть утилита лексера, но я не могу ее найти. Можете ли вы указать мне правильное направление?

Answer 1

A простой лексер для языка, подобного Scala предоставляется в стандартной библиотеке.

Небольшая служебная программа, которая токенизирует исходный код Scala, используя тот же лексер, что и компилятор, живетздесь

Answer 2

Скалярная форма имеет точный лексер Scala, который вы можете использовать:

import scalariform.lexer._
val tokens = ScalaLexer.rawTokenise("class A", forgiveErrors = true)
val keywords = tokens.find(_.tokenType.isKeyword)
val comments = tokens.find(_.tokenType.isComment)

Answer 3

Parser Combinators может помочь в том, что вы пытаетесь достичь здесь, особенно если позже вы не только заинтересованы в разборе ключевых слов.