Есть ли у вас ограничения памяти?Если нет, я бы оставил в std :: set (или в зависимости от того, какой hash_set доступен в вашей среде) список уникальных целых чисел.
Если вы абсолютно не можете выделить больше памяти, возможно, вам следует рассмотреть возможность использования другой структуры данных впервое место.