Как @GregS указал в своем комментарии, int, деленное на int, является int.Преобразование одного из чисел в двойное приведет к получению желаемого результата.
double chiSquare = ((double)hashtable.get(key).intValue())/noWords;
Или используйте удобный метод Integer, чтобы преобразовать его в двойное:
double chiSquare = hashtable.get(key).doubleValue()/noWords;