Как удалить стоп-слова на английском языке с помощью Java-программы

Question

Как удалить стоп-слова на английском языке с помощью Java-программы. Пожалуйста, помогите мне с самой простой программой или предложите мне несколько идей. Заранее спасибо

Answer 1

Что именно вы подразумеваете под стоп-словами? Возможно, метод [replaceAll] [1] подойдет.

[1]: http://java.sun.com/j2se/1.4.2/docs/api/java/lang/String.html#replaceAll(java.lang.String, java.lang.String)

Answer 2

public static String removeStopWords (String query) выбрасывает UnsupportedEncodingException { String [] queryTerms = query.split ("&"); String queryString = ""; StringBuffer sb = new StringBuffer (); для (int i = 0; i

    }
  if(!queryString.equalsIgnoreCase("")) {
  String [] tokens=queryString.split("\\s+");
  List lStopWords=StopWordDataLoad.getlQueryStringStopword();
  List<String> lTokens=new ArrayList<String>();
  boolean noStopWord=false;
  for(String s: tokens)
    if(!lStopWords.contains(s)) {
          if(sb.length()==0) sb.append(s);
              else sb.append(" ").append(s);
      } else noStopWord=true;

   queryString=sb.toString().replaceAll("\\s+", " ");
   if(queryString.equalsIgnoreCase("") || noStopWord ==false) return query;
  }
  else return query;


  String fque="";
  String finQue = "";
  ArrayList<String> list = new ArrayList<String>();
  for (int i=0;i<queryTerms.length;i++){
      if(queryTerms[i].startsWith("q=") && !queryTerms[i].startsWith("q.orig")){
          fque = "q="+URLEncoder.encode(queryString,PropertyLoader.getHttpEncoding());
          list.add(fque);

      } else if (!queryTerms[i].equalsIgnoreCase("")) list.add(queryTerms[i]);
  }
  ListIterator<String> iter = list.listIterator();
    while(iter.hasNext()){
        String str = iter.next();
        finQue=finQue+"&"+str;
    }


  return finQue.trim();

}

Answer 3

Вы можете использовать регулярное выражение.Вот несколько хороших уроков .