Совместное использование итераторов

Question

Я пишу (простой) компилятор в Scala и сделал токенизатор итеративным, и теперь нужно написать парсер.План состоит в том, чтобы использовать стратегию рекурсивного спуска, и поэтому синтаксический анализатор будет разделен на несколько методов, каждый из которых вызывает (некоторые из) другие.

Я предполагаю, что это будет необходимо/ предпочтительно поддерживать состояние итератора токенизатора и делиться им между различными методами.Это тот случай?Как я должен идти об этом?Если это не так, каковы альтернативы?

Answer 1

Если вам нужно поддерживать состояние итератора, не используйте итератор !Итераторы предназначены для случаев, когда вы можете уничтожить свое состояние по ходу.

Вы могли бы быть в состоянии обойтись без использования потока.Потоки имеют привычку не оставлять свою память, когда это необходимо, потому что ссылки сохраняются там, где вы их не хотите (но где вы можете сказать, что они существуют, если вы об этом думаете).Так что, если вы начали с итератора, вы можете .toStream его и передать подпотоки, а затем передать поток для дальнейшей обработки.Но вы должны быть очень осторожны, чтобы не сохранить ссылку на начало потока, если хотите избежать хранения всего в памяти.

Другой способ - просто сбросить все данные в вектор или массиви сохранить всю проблему в памяти;затем вы можете отбросить нерелевантные части (или продвинуть индекс) по ходу работы.

Наконец, если вы абсолютно уверены , что вам не нужно возвращаться назад, тогда вы можете простоиспользуйте итератор как есть, не беспокоясь о «поддержании состояния».То есть, когда вы вернетесь из под-метода, вы уже будете использовать точно правильные токены и не более, и сможете продолжать анализировать.Чтобы это работало без хотя бы одного элемента «следующий токен, который я не использовал» для возвращаемого значения, необходимо иметь возможность предсказать, где находится последний токен (например, список неограниченной длины должен заканчиваться натокен, который был частью списка, поэтому {1,2,3} может быть списком (если вы переходите к обработке списка, когда видите {, и выпадаете, когда нажимаете }), но не 1,2,3 + 7 (потому что вы 'потреблю + до того, как вы поймете, что список окончен)).

Answer 2

Вы можете просто создать итератор токена и передавать его при каждом рекурсивном вызове синтаксического анализатора, чтобы синтаксический анализ уровня токена считывал из него:

def parse2(tokens: Iterator[String]) = List(tokens.next, tokens.next)
def parse1(tokens: Iterator[String]) = List(parse2(tokens), parse2(tokens))

val tokens = List("a","b","c","d").iterator
val parsed = parse1(tokens) //List(List(a, b), List(c, d))