В моем тестировании (несколько лет назад) я обнаружил совершенно противоположное - ссылка на массив была быстрее, чем указатель. Я думаю, что это было с MSVC 6.0. Все зависит от кода ассемблера, который компилятор решит сгенерировать, и это совершенно произвольно.
Чтобы уточнить, я сравнивал что-то вроде следующего:
for (int i = 0; i < length; ++i)
sum += p[i];
for (int i = 0; i < length; ++i)
sum += *p++;