Ошибка при использовании StringTokenizer в текстовом файле с несколькими строками - PullRequest
Новая
       36

Ошибка при использовании StringTokenizer в текстовом файле с несколькими строками

1 голос
/ 02 мая 2011

Я пытаюсь прочитать текстовый файл и разделить слова по отдельности, используя утилиту строкового токенизатора в Java.

Текстовый файл выглядит так:пытаюсь сделать, это получить каждый отдельный символ из текстового файла и сохранить его в списке массивов.Затем я пытаюсь напечатать каждый элемент массива в конце.

Вот мой код; 

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.StringTokenizer;

public static void main(String[] args) {

    String fileSpecified = args[0];

    fileSpecified = fileSpecified.concat(".txt");
    String line;
    System.out.println ("file Specified = " + fileSpecified);

    ArrayList <String> words = new ArrayList<String> ();


    try {
        FileReader fr = new FileReader (fileSpecified);
        BufferedReader br = new BufferedReader (fr);
        line = br.readLine();

        StringTokenizer token;
        while ((line  = br.readLine()) != null) {
            token = new StringTokenizer (line);
            words.add(token.nextToken());
        }
    } catch (IOException e) {
        System.out.println (e.getMessage());
    }

    for (int i = 0; i < words.size(); i++) {
        System.out.println ("words = " + words.get(i));
    }



}

Полученное сообщение об ошибке: 

Exception in thread "main" java.util.NoSuchElementException   
                at java.util.StringTokenizer.nextToken<Unknown Source>  
                at getWords.main<getWords.java:32>

Где 'getWords' - это имя моего Java-файла.

Спасибо.

Ответы [ 4 ]

6 голосов
/ 02 мая 2011

а) Сначала вы всегда должны проверить StringTokenizer.hasMoreTokens().Бросок NoSuchElementException - это документированное поведение, если токенов больше нет: 

token = new StringTokenizer (line);
while(token.hasMoreTokens())
    words.add(token.nextToken());

b) не создавайте новый токенизатор для каждой строки, если ваш файл не слишком велик для размещения в памяти.Прочитайте весь файл в строку и дайте токенизатору работать на этом

2 голосов
/ 02 мая 2011

Ваш общий подход кажется правильным, но у вас есть основная проблема в вашем коде.

Скорее всего, ваш синтаксический анализатор завершится сбоем во второй строке вашего входного файла.Эта строка пустая, поэтому при вызове words.add(token.nextToken()); вы получаете сообщение об ошибке, поскольку токенов нет.Это также означает, что вы будете получать только первый токен в каждой строке.

Вы должны выполнять итерации по токенам следующим образом: 

while(token.hasMoreTokens())
{
    words.add(token.nextToken())
}

Более общий пример можно найти в javadocsздесь:

http://download.oracle.com/javase/1.4.2/docs/api/java/util/StringTokenizer.html

0 голосов
/ 02 мая 2011

Вам необходимо использовать метод hasMoreTokens (). Также рассмотрены различные стандартные проблемы кодирования в вашем коде, на что указал JB Nizet 

import java.io.BufferedReader;
import java.io.FileReader;
import java.io.IOException;
import java.util.ArrayList;
import java.util.StringTokenizer;

public class TestStringTokenizer {

    /**
     * @param args
     * @throws IOException 
     */
    public static void main(String[] args) throws IOException {
        String fileSpecified = args[0];

        fileSpecified = fileSpecified.concat(".txt");
        String line;
        System.out.println ("file Specified = " + fileSpecified);

        ArrayList <String> words = new ArrayList<String> ();

        BufferedReader br =  new BufferedReader (new FileReader (fileSpecified));
        try{
            while ((line  = br.readLine()) != null) {
                StringTokenizer token = new StringTokenizer (line);
                while(token.hasMoreTokens())
                    words.add(token.nextToken());
            }
        } catch (IOException e) {
            System.out.println (e.getMessage());
            e.printStackTrace();
        } finally {
            br.close();
        }

        for (int i = 0; i < words.size(); i++) {
            System.out.println ("words = " + words.get(i));
        }
    }
}
0 голосов
/ 02 мая 2011

Эта проблема связана с тем, что вы не проверяете наличие следующего токена, прежде чем пытаться получить следующий токен.Вы должны всегда проверять, если hasMoreTokens() до возврата true перед вызовом nextToken().

Но у вас есть другие ошибки:

  • Первая строка читается, но не маркируется
  • Вы добавляете только первое слово каждой строки в свой список слов
  • плохая практика: переменная токена должна быть объявлена ​​внутри цикла, а не снаружи
  • Вы не делаетезакройте свой читатель в блоке finally
...