Я не видел ваш java код, но я думаю, что вы должны позволить пользователю перетаскивать CardView, а не ImageView внутри него. Насколько я понимаю, ваш CardView делает именно то, что должен делать. а именно, обеспечивает вид окна или выреза, внутри которого видны содержащиеся изображения (например, я использовал их, чтобы сделать мои изображения круговыми)
Если вы хотите, чтобы изображения выглядели так, как будто они находятся внутри CardView или некоторого другого В контейнере вы можете поместить ImageViews вне CardView, а затем заставить их отображаться поверх него с помощью RelativeLayout. затем вы можете отслеживать их координаты, чтобы увидеть, считаете ли вы, что они выпадают "изнутри" или "наружу"