Java Как конвертировать токен в строку?

Question

Не могу понять, как преобразовать токен (StringTokenizer) в строку.

У меня есть строка [] ключевых слов, и я читаю несколько строк текста из текстового файла.StringTokenizer используется, чтобы разделить предложение вверх ,,, после чего мне нужно передать каждый токен (строковое представление токена) в функцию для анализа слов.

Есть ли простой способ извлечь строкузначение из токена?

Любая помощь оценили, ребята ....

Отличная помощь, ребята, спасибо еще раз !!

Answer 1

Используйте метод nextToken(), чтобы вернуть токен в виде строки

StringTokenizer st = new StringTokenizer("this is a test");
         while (st.hasMoreTokens()) {
             wordAnalysis(st.nextToken());//sends string to your function
         }

Answer 2

StringTokenizer теперь является устаревшим классом в Java. Начиная с Java 1.4, рекомендуется использовать метод split () для String, который возвращает String [].

http://download.oracle.com/javase/1.4.2/docs/api/java/lang/String.html#split(java.lang.String)

Answer 3

for(int i = 0; i<stringArray.length; i++) {
    StringTokenizer st = new StringTokenizer(stringArray[i]);
    while(st.hasMoreTokens()) {
       callMyProcessingMethod(st.nextToken());
    }
}

Answer 4

nextToken(), вызываемый на StringTokenizer, уже возвращает String.Вам не нужно конвертировать String в String.

. Токен - это просто небольшая (строковая) часть большей строки.Токены используются в различных формах обработки, и слово (слово токен) необходимо, чтобы отличать категорию предметов от конкретных предметов.

For example, every word, period, and comma in this string is a token.

Поддается следующим токенам (все из которыхявляются строками):

For 
example
, 
every 
word
,
period
,
and 
comma 
in 
this 
string 
is 
a 
token
.