Используйте атрибут target, чтобы соответствовать правильному родительскому элементу панели. Выглядело бы примерно так:
$(".deleteItem").click(function(){
let targetId = $(this).closest(".collapse").attr("id");
let counter = $(".list-group-item[data-target='#"+ targetId +"']").find("#counter-" + targetId);
counter.text(parseInt(counter.text()) - 1);
});
Почти всегда есть решение с использованием некоторой комбинации этих jquery функций: closest (); родитель (); дети(); следующий(); пред (); find ();
Кроме того, использование более подробных имен классов обычно упрощает решение. Например, я бы дал .list-group-item другой класс, например .menu-item.