Преждевременная оптимизация - корень всего зла
Просто сделайте это простым способом, а затем оптимизируйте его, если ваш профилировщик скажет вам, что это важно.
Да, вы пойдете быстрее, если будете правильно выровнены. Вы пойдете еще быстрее, если будете использовать векторные инструкции XOR SSE2, при правильном выравнивании вы будете делать это по 16 байт за раз и не загрязнять кеш. И очень маловероятно, что оптимизация именно там, где вы должны тратить свое время.