Считайте, что это Анти-Ответ, но он имеет свои применения в крайнем случае.
Ответ user6690200 правильный ИМХО.
Но что вы можете сделать, если вы не можете контролировать создание карты, и вам предоставляется экземпляр исходной карты?
В этом случае самым быстрым решением будет приведение и окружение проблемного приведения с надлежащей исключающей сетью try-catch:
for (Map.Entry me : hm.entrySet()) {
try {
int freq = (Integer)me.getValue();
//do something with int
} catch (ClassCastException e) {
// handle exception resposibly!
}
}