Слово, которое вы ищете, является набором. Вы правы в том, что держите помеченные в какой-то подгруппе (то, что вы называете списком), но список упорядочен. Вам не нужна эта возможность упорядочения для хранения группы помеченных элементов; Вы хотите набор, который является подмножеством всех ваших элементов в вашем массиве.
Отсутствие их заказа дает вам преимущества в производительности, особенно при удалении, потому что вам не нужно перемещать все элементы списка после того, который вы удалили. Также при произвольном доступе к позициям у вас есть постоянное время, если вы используете HashSet. С некоторой «плохой» стороны, итерация по набору объекта обычно немного менее интуитивна, чем список, что заставляет вас использовать объект Iterator.