Сериализация и десериализация V. Большой словарь на C #

Question

У нас есть v.large Dictionary<long,uint> (несколько миллионов записей) как часть высокопроизводительного приложения на C #. Когда приложение закрывается, мы сериализуем словарь на диск, используя BinaryFormatter и MemoryStream.ToArray(). Сериализация возвращается через 30 секунд и создает файл размером около 200 МБ. Когда мы затем попытаемся десериализовать словарь, используя следующий код:

BinaryFormatter bin = new BinaryFormatter();
Stream stream = File.Open("filePathName", FileMode.Open);
Dictionary<long, uint> allPreviousResults =
    (Dictionary<long, uint>)bin.Deserialize(stream);
stream.Close();

Возвращение занимает около 15 минут. Мы попробовали альтернативы, и медленная часть определенно составляет bin.Derserialize(stream), то есть байты считываются с жесткого диска (высокопроизводительного SSD) менее чем за 1 секунду.

Может кто-нибудь указать, что мы делаем неправильно, так как мы хотим, чтобы время загрузки соответствовало порядку сохранения.

С уважением, Marc

Answer 1

Вы можете оформить заказ protobuf-net или просто сериализовать его самостоятельно, что, вероятно, будет самым быстрым, что вы сможете получить.

class Program
{
    public static void Main()
    {
        var dico = new Dictionary<long, uint>();
        for (long i = 0; i < 7500000; i++)
        {
            dico.Add(i, (uint)i);
        }

        using (var stream = File.OpenWrite("data.dat"))
        using (var writer = new BinaryWriter(stream))
        {
            foreach (var key in dico.Keys)
            {
                writer.Write(key);
                writer.Write(dico[key]);
            }
        }

        dico.Clear();
        using (var stream = File.OpenRead("data.dat"))
        using (var reader = new BinaryReader(stream))
        {
            while (stream.Position < stream.Length)
            {
                var key = reader.ReadInt64();
                var value = reader.ReadUInt32();
                dico.Add(key, value);
            }
        }
    }
}

размер полученного файла => 90 Мб (85,8 МБ).

Answer 2

Просто чтобы показать аналогичную сериализацию (с принятым ответом) через protobuf-net:

using System.Collections.Generic;
using ProtoBuf;
using System.IO;

[ProtoContract]
class Test
{
    [ProtoMember(1)]
    public Dictionary<long, uint> Data {get;set;}
}

class Program
{
    public static void Main()
    {
        Serializer.PrepareSerializer<Test>();
        var dico = new Dictionary<long, uint>();
        for (long i = 0; i < 7500000; i++)
        {
            dico.Add(i, (uint)i);
        }
        var data = new Test { Data = dico };
        using (var stream = File.OpenWrite("data.dat"))
        {
            Serializer.Serialize(stream, data);
        }
        dico.Clear();
        using (var stream = File.OpenRead("data.dat"))
        {
            Serializer.Merge<Test>(stream, data);
        }
    }
}

Размер: 83 мегабайта - но самое главное, вам не приходилось делать все вручную, внося ошибки,Быстро тоже (будет еще быстрее в "v2").

Answer 3

Возможно, вы захотите использовать профилировщик, чтобы посмотреть, выполняет ли десериализатор кучу отражений на лету.

Пока что, если вы не хотите использовать базу данных, попробуйте сохранить ваши объекты в виде плоского файла в произвольном формате. Например, в первой строке файла указывается общее количество записей в словаре, что позволяет создать экземпляр словаря с заранее заданным размером. Оставьте строки в виде пары пар ключ-значение фиксированной ширины, представляющих все записи в вашем словаре.

С вашим новым форматом файла используйте StreamReader для построчного чтения в вашем файле или в фиксированных блоках, посмотрите, позволяет ли это быстрее читать в вашем словаре.

Answer 4

Существует несколько быстрых решений NoSQL Key-Value, почему бы не попробовать их? В качестве примера ESENT, кто-то разместил это здесь, на SO. managedesent