Удалить стоп-слова в Java --- Требуется помощь - PullRequest
Новая
       11

Удалить стоп-слова в Java --- Требуется помощь

0 голосов
/ 23 августа 2011

Я использую метод для удаления стоп-слова, определенного в файле, который будет срывать эти слова из строки запроса, которую я передаю этому методу ... Код работает нормально

Теперь, что мне нужно сделать, это ... Если строка запроса содержит только эти стоп-слова, то она не должна быть разорвана ..

Например: если файл стоп-слов имеет "is" "was" "и"

если запрос «Я был студентом», то результат должен быть «Я студент»

но если запрос "и есть", теперь мне нужен вывод такой же, как "и есть".

Ниже приведен метод, который я написал для удаления стоп-слов. 

public static String removeStopWords(String  query) throws UnsupportedEncodingException
    {
      String []queryTerms = query.split("&");
      String queryString="";
      StringBuffer sb =new StringBuffer();
      for (int i=0;i<queryTerms.length;i++){
            if(queryTerms[i].startsWith("q=") && !queryTerms[i].startsWith("q.orig")){
                queryString = queryTerms[i].replaceAll("q=","").trim().replace("+"," ").replaceAll("\\s+"," ").trim();
                }

        }
      if(!queryString.equalsIgnoreCase("")) {
      String [] tokens=queryString.split("\\s+");
      List lStopWords=StopWordDataLoad.getlQueryStringStopword();
      List<String> lTokens=new ArrayList<String>();
      boolean noStopWord=false;
      for(String s: tokens)
        if(!lStopWords.contains(s)) {
              if(sb.length()==0) sb.append(s);
                  else sb.append(" ").append(s);
          } else noStopWord=true;

       queryString=sb.toString().replaceAll("\\s+", " ");
       if(queryString.equalsIgnoreCase("") || noStopWord ==false) return query;
      }
      else return query;


      String fque="";
      String finQue = "";
      ArrayList<String> list = new ArrayList<String>();
      for (int i=0;i<queryTerms.length;i++){
          if(queryTerms[i].startsWith("q=") && !queryTerms[i].startsWith("q.orig")){
              fque = "q="+URLEncoder.encode(queryString,PropertyLoader.getHttpEncoding());
              list.add(fque);

          } else if (!queryTerms[i].equalsIgnoreCase("")) list.add(queryTerms[i]);
      }
      ListIterator<String> iter = list.listIterator();
        while(iter.hasNext()){
            String str = iter.next();
            finQue=finQue+"&"+str;
        }


      return finQue.trim();

    }

1 Ответ

2 голосов
/ 23 августа 2011

Просто измените последнюю строку на это: 

String result = finQue.trim();
if (result.equals("")) {
    return query;
} else {
    return result;
}
...