Неважно, я понял - по умолчанию Android объединяет все контакты, поэтому, когда я удаляю один из моих пользовательских синхронизированных контактов, идентификатор контакта совпадает со всеми другими объединенными контактами, и именно поэтому они были удалены. Если я скажу контакту не объединяться при добавлении ti адаптером синхронизации с помощью .withValue(RawContacts.AGGREGATION_MODE, RawContacts.AGGREGATION_MODE_DISABLED)
, то все мои пользовательские контакты могут быть удалены сами по себе