Если вы не можете использовать new Set(groupsJoin)
для фильтрации всех сразу, обратитесь к следующему решению:
var groupsJoin = new Set();
arr.forEach(x => groupsJoin.add(x))
В результате вы получите массив с уникальными значениями.
если необходимо хранить карты внутри, вместо x используйте
x.groupId => groupsJoin.add(x.groupId)
Это будет зависеть от вашего контекста.
var arr = [1, 2, 4, 5, 5, 4, 3, 9, 8, 11, 1];
var groupsJoin = new Set();
arr.forEach( x => groupsJoin.add(x));
console.log(groupsJoin);