java weka stringtowordvector не считает слова правильно

Question

, поэтому я использую JAVA API библиотеки машинного обучения Weka и у меня есть следующий код:

    String html = "repeat repeat repeat";

    Attribute input = new Attribute("html",(FastVector) null);

    FastVector inputVec = new FastVector();
    inputVec.addElement(input);

    Instances htmlInst = new Instances("html",inputVec,1);
    htmlInst.add(new Instance(1));  
    htmlInst.instance(0).setValue(0, html);

    StringToWordVector filter = new StringToWordVector();
    filter.setUseStoplist(true);

    filter.setInputFormat(htmlInst);
    Instances dataFiltered = Filter.useFilter(htmlInst, filter);

    Instance last = dataFiltered.lastInstance();
    System.out.println(last);

, хотя StringToWordVector должен подсчитывать вхождения слова в строке вместо слова «повтор»3 раза, счет только 1

что я делаю не так?

Answer 1

Значение по умолчанию - сообщать только о присутствии / отсутствии как 0/1. Вы должны включить подсчет в явном виде. Добавить:

filter.setOutputWordCounts (истина);

и повторите.

У Weka есть явный список рассылки; размещение таких вопросов может дать вам более быстрые ответы.

Answer 2

Ну и дела ... все эти строки кода.Как насчет этих нескольких строк?

public static Map<String, Integer> countWords(String input) {
    Map<String, Integer> map = new HashMap<String, Integer>();
    Matcher matcher = Pattern.compile("\\b\\w+\\b").matcher(input);
    while (matcher.find())
        map.put(matcher.group(), map.containsKey(matcher.group()) ? map.get(matcher.group()) + 1 : 1);
    return map;
}

Вот код в действии:

public static void main(String[] args) {
    System.out.println(countWords("sample, repeat sample, of text"));
}

Вывод:

{of=1, text=1, repeat=1, sample=2}