Это зависит, но от архитектур, где выравнивание имеет значение или где имеются инструкции SIMD, обычно процедуры будут работать с начальными байтами, затем выполнять столько операций широкого выравнивания, сколько позволяют данные, а затем работать с конечными байтами.
Может ли начальный и конечный байты внести значительный вклад во время обработки ваших данных, можно определить экспериментально.