Что именно является «токеном» с точки зрения Java?

Question

Итак, я работаю над этой программой, которая открывает все файлы .java и .txt в указанном каталоге и анализирует эти файлы.Одна вещь, которую должна найти моя программа - это «наиболее часто встречающиеся токены» в каждом из файлов .txt и .java.У меня только ограниченное понимание того, что можно назвать токеном.Будет ли программа, которая просто находит самое распространенное слово в файле, делать то же самое?Или как мне указать мой метод поиска токенов, а не просто слова?

Любое дальнейшее объяснение того, что можно считать токеном, приветствуется.Спасибо.

Answer 1

Проблема в том, что (назначение) плохо указано.Концепция токенов связана с синтаксическим анализом ввода строки.Например, функция калькулятора может взять строку, разбить ее, используя набор разделителей (часто пробельные символы).Токены, такие как операторы и числа, являются токенами.В зависимости от типа ввода парсер не должен использовать пробелы в качестве разделителей.Другим вариантом может быть пунктуация или вкладки для текста с разделителями табуляции.Токены - это то, что существует между разделителями.Затем функция синтаксического анализа обрабатывает токены.

Итак, краткий ответ на ваш вопрос: - слова и знаки препинания для текстовых файлов с человеческим языком, вероятно.- если вы только анализируете код, вам нужно принять решение.Все объекты, свойства, методы и операторы, включая оператор точки, должны быть токенами, или токен относится к одному объекту: (т. Е. WordCounter.getTotals () один токен или три? Или 5?.

Answer 2

Токен - это самый маленький элемент, который распознает виртуальная машина Java.Он может содержать слово, ключевые слова, цифры, специальные символы, операторы и т. Д. Подробную статью по этому вопросу можно найти здесь: https://www.quora.com/What-are-tokens-in-java