Вы можете использовать
@JsonSetter
для установки нужного вам установщика.
или
@JsonIgnore
на всех других установщиках, кроме того, который вы хотитеиспользовать.
Если у вас несколько геттеров, используйте
@JsonProperty
для определения используемого геттера.