Ваш вопрос предусматривает базовый профиль.Это правда, что базовый уровень ограничен использованием CAVLC, поэтому декодеру только базового уровня не потребуется реализовывать CABAC.Однако существуют различные части даже базового потока, которые требуют экспоненциального кодирования Голомба.
Итак, да: CAVLC и декодирование экспоненциального Голомба (а также обратные преобразования, предсказание, компенсация движения и другие функции)необходимы для декодирования базового потока H.264.