Изображения построены на слоях, которые являются инкрементными, другими словами, слои остаются поверх других - каждый слой является дельтой поверх предыдущего.
Если вы измените слой на основы вашей docker сборки изображения, все последующие слои становятся недействительными.
Чтобы минимизировать это, сначала разместите команды, которые с меньшей вероятностью изменят слои.