Hashset не поддерживает порядок, как упоминалось zlaval - вы можете использовать LinkedList или ArrayList.
Но если вы хотите избежать дубликатов, а также поддерживать порядок вставки, вы можете использовать
LinkedHashSet
Из документов:
Ha sh реализация таблицы и связанного списка интерфейса Set с предсказуемым порядком итераций. Эта реализация отличается от HashSet тем, что поддерживает двусвязный список, проходящий через все его записи. Этот связанный список определяет порядок итераций, то есть порядок, в котором элементы были вставлены в набор (порядок вставки)