Какое точное определение "Token?"

Question

У меня есть проблема, чтобы уловить реальное значение термина «Знак».

С точки зрения разработки программного обеспечения, можете ли вы дать общее определение? (Имеет ли он разные значения с точки зрения разных контекстов и языков?)

Спасибо!

Answer 1

Если вы google define: token , вы получите (среди прочих) следующие два определения, которые кажутся применимыми:

• отдельный экземпляр типа символа; «Слово« ошибка »содержит три токена« r »»
• что-то, служащее знаком чего-то другого

Если вы объедините эти два, вы окажетесь где-то рядом с тем, что обычно подразумевается при разговоре о токенах в программировании; символ, представляющий что-то . Да, довольно расплывчато, но тогда оно используется в разных контекстах.

Один пример: у вас есть система аутентификации, в которой пользователь входит в систему. Когда система аутентифицирует пользователя, вместо того, чтобы повторять этот процесс для каждого запроса, создается токен, который представляет факт аутентификации пользователя. Этот токен затем используется в последующих запросах. В этом случае что-то - это факт аутентификации пользователя, и токен представляет этот факт.

Answer 2

Токены: идентификаторы, ключевые слова, литералы, операторы и знаки препинания.Но мы не можем рассматривать пробелы и комментарии как токены, хотя они действуют как разделители для токенов.

Answer 3

в компиляторе Лексический анализатор (или сканер): читает входной поток и символы слияния Исходный текст в токены языка. Token : последовательность символов, имеющих коллективное значение. Последовательность символов, образующая токен называется Lexeme .

этот пример может помочь
Рассмотрим следующий оператор присваивания
newvalue = oldvalue + rate * 60
Лексический анализатор сгенерирует следующие токены.

Token       Lexeme
Identifier  newvalue
assignop    =
Identifier  oldvalue
addop       +
identifier  rate
mulop       *
number      6

Answer 4

Токен - это отдельный элемент языка программирования.Существует 5 категорий токенов:

• Зарезервированные слова
• Операторы
• Идентификаторы
• Константы
• Разделители

Answer 5

Одним из значений в терминах разработки программного обеспечения является подпись аутентификации, которая выдается сервером в течение определенного интервала времени

Answer 6

Жетон можно рассматривать как печать, например, когда в зрелом возрасте курьер, представляющий короля или герцога, епископа или папу, или что-то еще ехал из царства в царство, и его необходимо было подтвердить как истинного представителя.о том, что он утверждает, что при прохождении ворот каждого королевства.

Он должен был показать письмо с этой конкретной печатью или показывая медаль или специальную монету, выгравированную, как немногие другие, жетон похож на один из нихтовар.

Answer 7

В Википедии нет однозначного выражения для этого термина (см. Раздел «Компьютеры»):

http://en.wikipedia.org/wiki/Token

Answer 8

Токен является объектом значения

http://en.wikipedia.org/wiki/Token