Оптимизировать суммирование 2 массивов байтов

Question

Я перебираю массив байтов и добавляю значения другого массива байтов в цикл for.

        var random = new Random();
        byte[] bytes = new byte[20_000_000]; 
        byte[] bytes2 = new byte[20_000_000];

        for (int i = 0; i < bytes.Length; i++)
        {
            bytes[i] = (byte)random.Next(255);
        }

        for (int i = 0; i < bytes.Length; i++)
        {
            bytes2[i] = (byte)random.Next(255);
        }

        //how to optimize the part below
        for (int i = 0; i < bytes.Length; i++)
        {
            bytes[i] += bytes2[i];
        }

Есть ли способ ускорить процесс, чтобы он мог быть быстрее линейного.

Answer 1

Вы можете использовать все свои процессоры / ядра, предполагая, что на вашей машине их более одного.

Parallel.ForEach(Partitioner.Create(0, bytes.Length), range =>
{
    for (int i = range.Item1; i < range.Item2; i++)
    {
        bytes[i] += bytes2[i];
    }
});

Answer 2

Увеличьте длину массива до следующего наибольшего значения, кратного 8. (Это уже в вашем примере.)

Используйте небезопасный контекст для создания двух ulong массивов, указывающих на начало существующих байтовых массивов.,Используйте цикл for для итерации bytes.Length / 8 раз, добавляя по 8 байт за раз.

В моей системе это выполняется менее чем за 13 миллисекунд.По сравнению со 105 миллисекундами для исходного кода.

Вы должны добавить опцию /unsafe, чтобы использовать этот код.Откройте свойства проекта и выберите «разрешить небезопасный код».

var random = new Random();
byte[] bytes = new byte[20_000_000]; 
byte[] bytes2 = new byte[20_000_000];




int Len = bytes.Length >> 3; // >>3 is the same as / 8

ulong MASK =    0x8080808080808080;
ulong MASKINV = 0x7f7f7f7f7f7f7f7f;

//Sanity check
if((bytes.Length & 7) != 0) throw new Exception("bytes.Length is not a multiple of 8");
if((bytes2.Length & 7) != 0) throw new Exception("bytes2.Length is not a multiple of 8");

unsafe
{
    //Add 8 bytes at a time, taking into account overflow between bytes
   fixed (byte* pbBytes = &bytes[0])
   fixed (byte* pbBytes2 = &bytes2[0])
   {
      ulong* pBytes = (ulong*)pbBytes;
      ulong* pBytes2 = (ulong*)pbBytes2;
      for (int i = 0; i < Len; i++)
      {
        pBytes[i] = ((pBytes2[i] & MASKINV) + (pBytes[i] & MASKINV)) ^ ((pBytes[i] ^ pBytes2[i]) & MASK);
      } 
   }
}

Answer 3

Вы можете использовать Vector:

static void Add(Span<byte> dst, ReadOnlySpan<byte> src)
{
    Span<Vector<byte>> dstVec = MemoryMarshal.Cast<byte, Vector<byte>>(dst);
    ReadOnlySpan<Vector<byte>> srcVec = MemoryMarshal.Cast<byte, Vector<byte>>(src);

    for (int i = 0; i < dstVec.Length; ++i)
    {
        dstVec[i] += srcVec[i];
    }

    for (int i = dstVec.Length * Vector<byte>.Count; i < dst.Length; ++i)
    {
        dst[i] += src[i];
    }
}

Будет еще быстрее, если вы используете указатель для выравнивания одного из ваших массивов.