Почему вы должны беспокоиться: В критических областях производительности с большим количеством операций чтения и записи в память вы можете получить большую дополнительную производительность, следя за правильностью выравнивания указателя. Это еще более верно, когда вы планируете использовать векторные инструкции, такие как MMX, SSE и тому подобное.
Вам не нужно беспокоиться об этом, хотя при написании обычного кода. Только после того, как вы определили узкое место, которое связано с большим количеством операций доступа к памяти, вы должны начать исследовать это дальше.