Предполагая, что вы просто хотите заполнить его нулями, создайте новый четырехбайтовый массив и скопируйте в него существующий:
byte[] newArray = new byte[4];
// Copy bytes 0, 1, 2 of oldArray into 1, 2, 3 of newArray.
Array.Copy(oldArray, 0, newArray, 1, 3);
(Вы можете сделать это вручную с помощью трех назначений; это потенциальнопроще в этой ситуации, но плохо масштабируется (с точки зрения кода) до больших размеров.)
Измените «1» на «0», если вы обнаружите, что вам нужно заполнение в конце вместоначать ... или использовать Array.Resize
в этом случае.