С указателем у вас больше контроля, но и больше обязанностей.Вы имеете больший контроль в том смысле, что вы можете более точно определить время жизни объекта, в то время как без указателя время жизни по существу равно времени жизни содержащего объекта.Кроме того, с указателем член может фактически быть экземпляром подкласса типа указателя.
С точки зрения производительности, использование указателя означает большее использование памяти, большую фрагментацию памяти и разыменование требует времени,Однако для всего, кроме самого критичного для производительности кода, об этом не стоит беспокоиться.