Решил это.Если я отключил взаимодействие с пользователем, он просто не взаимодействует с кликом и ведет себя как изображение.
UIButton *contactAddButton = [UIButton buttonWithType:UIButtonTypeContactAdd];
[contactAddButton setUserInteractionEnabled:FALSE];
cell.accessoryView = contactAddButton;