List<int> intList = new List<int>();
int[] intArray = intList.ToArray();
byte[] byteArray = new byte[intArray.Length*4];
Buffer.BlockCopy(intArray, 0, byteArray, 0, byteArray.Length);
Buffer.BlockCopy
использует необработанные адреса памяти, а не индексы массива, для копирования данных массива. Работает только с массивами примитивов.