Прекрасно использовать коллайдеры на статических объектах, которые не перемещаются без добавления твердого тела .Это даже лучше для производительности, поскольку эти коллайдеры кэшируются в физическом движке.
Нет смысла добавлять Rigidbody, скажем, слово, которое никогда не будет двигаться.