ImageView сами по себе используются только для отображения определенного изображения. Чтобы иметь пользовательское поведение или пользовательский интерфейс, например значок удаления, необходимо создать собственное представление.
Вы можете сделать это, расширив одну из ViewGroup, например RelativeLayout, и сделайте свое представление.
Подробнее о пользовательских видах см. На странице: https://developer.android.com/training/custom-views/create-view