При отправке больших сериализованных объектов через сокеты происходит сбой только при попытке увеличить массив байтов, но это нормально при использовании массивного байтового массива

Question

У меня есть код, в котором я пытаюсь увеличить байтовый массив при получении данных через сокет. Это ошибка.

    public bool ReceiveObject2(ref Object objRec, ref string sErrMsg)
    {
        try
        {
            byte[] buffer = new byte[1024];
            byte[] byArrAll = new byte[0];
            bool bAllBytesRead = false;

            int iRecLoop = 0;

            // grow the byte array to match the size of the object, so we can put whatever we 
            // like through the socket as long as the object serialises and is binary formatted 
            while (!bAllBytesRead)
            {
                if (m_socClient.Receive(buffer) > 0)
                {
                    byArrAll = Combine(byArrAll, buffer);
                    iRecLoop++;
                }
                else
                {
                    m_socClient.Close();
                    bAllBytesRead = true;
                }
            }

            MemoryStream ms = new MemoryStream(buffer);
            BinaryFormatter bf1 = new BinaryFormatter();
            ms.Position = 0;
            Object obj = bf1.Deserialize(ms);
            objRec = obj;

            return true;
        }
        catch (System.Runtime.Serialization.SerializationException se)
        {
            objRec = null;
            sErrMsg += "SocketClient.ReceiveObject " + "Source " + se.Source + "Error : " + se.Message;
            return false;
        }
        catch (Exception e)
        {
            objRec = null;
            sErrMsg += "SocketClient.ReceiveObject " + "Source " + e.Source + "Error : " + e.Message;
            return false;
        }
    }

    private byte[] Combine(byte[] first, byte[] second)
    {
        byte[] ret = new byte[first.Length + second.Length];
        Buffer.BlockCopy(first, 0, ret, 0, first.Length);
        Buffer.BlockCopy(second, 0, ret, first.Length, second.Length);
        return ret;
    }    

Ошибка: mscorlibError: Входной поток не является допустимым двоичным форматом. Исходное содержимое (в байтах): 68-61-73-43-68-61-6E-67-65-73-3D-22-69-6E-73-65-72 ...

Тем не менее, когда я просто изменяю и использую МАССИВНЫЙ размер буфера, это прекрасно.

        public bool ReceiveObject(ref Object objRec, ref string sErrMsg)
    {
        try
        {
            byte[] buffer = new byte[5000000];

            m_socClient.Receive(buffer);
            MemoryStream ms = new MemoryStream(buffer);
            BinaryFormatter bf1 = new BinaryFormatter();

            ms.Position = 0;
            Object obj = bf1.Deserialize(ms);
            objRec = obj;

            return true;
        }
        catch (Exception e)
        {
            objRec = null;
            sErrMsg += "SocketClient.ReceiveObject " + "Source " + e.Source + "Error : " + e.Message;
            return false;
        }
    }

Это действительно убивает меня. Я не знаю, почему это не работает. Я также снял комбинат с предложения здесь, так что я почти уверен, что это не так?

Я надеюсь, что кто-то может указать, где я иду не так

Answer 1

Этот метод Combine является действительно дорогим способом увеличения массива, особенно когда MemoryStream предназначен , предназначен для решения этой проблемы; а остальные ответы верны: вы должны проверить количество прочитанных байтов:

using(MemoryStream ms = new MemoryStream()) {
    int bytesRead;
    while((bytesRead = m_socClient.Receive(buffer)) > 0) {
        ms.Write(buffer, 0, bytesRead);
    }
    // access ms.ToArray() or ms.GetBuffer() as desired, or
    // set Position to 0 and read
}

Конечно, вы можете просто прочитать напрямую из потока (передать его своему читателю)

Также - если ваша сериализация слишком велика, вы можете рассмотреть альтернативные кодеры, такие как protobuf-net (хотя это немного изменит код). Это может решить проблему с огромным объектом.

Answer 2

Я не очень знаком с сетью C #, но разве вы не добавляете полные 1024 байта в буфер каждый раз, когда вызываете Combine(), и игнорируете количество байтов, считываемых из сокета? Вам, вероятно, нужен хотя бы один дополнительный параметр для этой функции, указывающий, сколько байтов нужно скопировать из second.