Когда вы добавите одну метку или группу меток к слою метки, вы получите SimpleIdentity. Держите это где-нибудь. Затем, когда вы хотите удалить метку (или группу меток) из слоя меток, вы возвращаетесь в этот SimpleIdentity.
Что происходит, так это WhirlyGlobe группирует данные для рисования как mofo. Ваши объекты SingleLabel больше не существуют, как только слой Label Layer раздробил их на как можно меньше Drawables, и с ним можно сойти. Поэтому, чтобы ссылаться на эти ярлыки, вы должны хранить уникальный идентификатор.
Теперь, если вы хотите удалить эти ярлыки отдельно или по отдельности изменить их внешний вид, то вам нужно добавить их один за другим. Один ярлык для одного SimpleIdentity. Иначе нет возможности ссылаться на них по отдельности.
Для скорости я рекомендую сгруппировать их как можно больше. Если это пока слишком сложно, добавьте их один за другим, а затем запишите, чтобы вернуться. Поэтому, когда вы говорите «Почему это не работает так быстро, как мне хотелось бы», вы можете сказать «Ооооо, верно»