Я рекомендую использовать с этим многоугольный коллайдер (хотя он немного глючит). Затем, когда вы перетаскиваете яблоко, вы не устанавливаете положение, а устанавливаете скорость на основе разницы между мышью и яблоком.
К сожалению, высокоскоростные объекты не всегда правильно разрешаются в Unity,В случае, когда единица не всегда разрешает столкновение должным образом, я рекомендую передавать лучи по разнице от яблока к курсору, если вместо нажатия курсора вы получаете удар, теперь вы можете использовать позицию удара.
![Example of raycast](https://i.stack.imgur.com/zx6LC.png)
ПРИМЕЧАНИЕ. Убедитесь, что оно не нормализовано, потому что вы хотите, чтобы скорость была больше, если курсор находится дальше от фрукта.