У меня только что была эта точная проблема, пуля имеет формы для этого, но столкновения не работали для меня должным образом с этими формами, поэтому я разбил свою вогнутую форму на множество выпуклых, сделал это с помощью btCompoundShape, с большим количеством btConvexHullShape как дети. Чтобы разбить выпуклую форму на треугольники (которые я использовал как 3-х точечные корпуса), я использовал этот класс:
http://www.flipcode.com/archives/Efficient_Polygon_Triangulation.shtml
Надеюсь, это поможет, свяжитесь со мной, если вам нужен точный код (хотя он очень привязан к моей программе).