Ngram Tokenizer для файлов в Java - PullRequest
Новая
       8

Ngram Tokenizer для файлов в Java

0 голосов
/ 27 сентября 2018

Моя цель - создать программу, которая принимает файл, читает его, анализирует его в токены и выплевывает индекс с относительной и абсолютной частотой.Я понимаю, как токенизировать обычные строки, однако я не понимаю, как это сделать с файлами.Кроме того, я не понимаю, куда мой класс ngram может пойти со всем этим.Кроме того, есть ли более простой способ считать слова?Я знаю, что звучит глупо, и мне жаль, если это глупый вопрос, но мне действительно нужна помощь.Я так потерян, и этот код больше не имеет смысла.

Вот что у меня есть: 

public static void main(String[] args) {

    try {

        File file = new File("jarg2912.txt");
        FileReader fileReader = new FileReader(file);
        BufferedReader bufferedReader = new BufferedReader(fileReader);
        StringBuffer stringBuffer = new StringBuffer();
        String line;
        while ((line = bufferedReader.readLine()) != null) {
            stringBuffer.append(line);
            stringBuffer.append("\n");
        }
        fileReader.close();
        System.out.println("Index:");
        //System.out.println(stringBuffer.toString());
        //NgramIterator ngram = new NgramIterator(0, "jarg2912.txt");
        StringTokenizer st = new StringTokenizer(fileReader.getEncoding());
        while (st.hasMoreTokens()) {
            System.out.println(st.nextToken());
        }

    } catch (IOException e) {
        e.printStackTrace();
    }

public class NgramIterator implements Iterator<String> {

String[] line;
int position = 0, number;

public NgramIterator(int n, String str) {
    this.number = n;
    this.line = str.split(" ");
}

@Override
public boolean hasNext() {
    return position < line.length - number + 1;
}

@Override
public String next() {
    StringBuilder stringBuilder = new StringBuilder();
    for (int i = position; i < position + number; i++) {
        stringBuilder.append((i > position ? " " : "") + line[i]);
        position++;
    }
    return stringBuilder.toString();
}
...