В этом конкретном случае использования, когда вы не передаете аргумент конструктору, это не имеет значения.
Однако, если вы использовали версию конструктора, которая приняла параметр, тип которого зависит отпеременная типа, то, если вы используете конструктор необработанного типа, компилятор не будет правильно проверять тип.
Этот неправильный код компилируется из-за необработанного типа и вызывает загрязнение кучи:
List<Integer> foo = Arrays.asList(1, 2, 3);
Set<String> set = new HashSet(foo);
Принимая во внимание, что использование правильного аргумента типа соответственно предотвращает его компиляцию:
List<Integer> foo = Arrays.asList(1, 2, 3);
Set<String> set = new HashSet<String>(foo);
Кстати, вы можете использовать оператор diamond в Java 7+, если вы не хотите быть настолько многословным:
Set<String> set = new HashSet<>();