Работает ли потоковая передача больших наборов результатов с помощью NHibernate? - PullRequest
Новая
       17

Работает ли потоковая передача больших наборов результатов с помощью NHibernate?

2 голосов
/ 03 мая 2011

Я использую метод, предложенный Айенде здесь:

http://ayende.com/Blog/archive/2010/06/27/nhibernate-streaming-large-result-sets.aspx

в SQL Server 2005 с NHibernate 3.0.

Мои тесты (при попытке потокового набора результатов с 10 000 000 элементов) показывают, что результаты не передаются в потоковом режиме (похоже, весь набор результатов сначала загружается в память).

Как мне заставить это работать? Я приму любое решение, которое разрешает потоковую передачу наборов результатов в NHibernate, оно не должно быть точно решением Айенде.

Ответы [ 2 ]

2 голосов
/ 07 июля 2016

Вы можете передавать результаты из Linq с помощью следующего метода расширения с NH 4.0.0.4000 (передать ISessionImplementor, если вам не нравится хак с отражением): 

public static EnumerableImpl Stream<T>(this IQueryable<T> source)
{
    var provider = ((NhQueryable<T>) source).Provider as DefaultQueryProvider;
    var sessionImpl = (ISessionImplementor)provider.GetType()
        .GetProperty("Session", BindingFlags.NonPublic | 
            BindingFlags.Instance).GetValue(provider);
    var expression = new NhLinqExpression(source.Expression, sessionImpl.Factory);
    var query = sessionImpl.CreateQuery(expression);
    query.SetParameters(expression.ParameterValuesByName);
    provider.SetResultTransformerAndAdditionalCriteria(
        query, expression, expression.ParameterValuesByName);
    return (EnumerableImpl)((AbstractQueryImpl2)query).Enumerable();
}

private static void SetParameters(this IQuery query, 
    IDictionary<string, Tuple<object, IType>> parameters)
{
    foreach (var parameterName in query.NamedParameters)
    {
        var param = parameters[parameterName];
        if (param.Item1 == null)
        {
            if (typeof(IEnumerable).IsAssignableFrom(param.Item2.ReturnedClass) &&
                param.Item2.ReturnedClass != typeof(string))
                query.SetParameterList(parameterName, null, param.Item2);
            else query.SetParameter(parameterName, null, param.Item2);
        }
        else
        {
            if (param.Item1 is IEnumerable && !(param.Item1 is string))
                query.SetParameterList(parameterName, (IEnumerable)param.Item1);
            else if (param.Item2 != null)
                query.SetParameter(parameterName, param.Item1, param.Item2);
            else query.SetParameter(parameterName, param.Item1);
        }
    }
}

Вам нужно будет обернуть его в оператор использования, чтобы убедиться, что читатель закрыт: 

using (var results = session.Query<Fark>().Take(50).Where(x => x.Enabled).Stream())
{
    results.ForEach(x => writer.WriteLine(x.ToCsv()));
}
1 голос
/ 07 марта 2012

Айенде говорит это:

У нас все еще есть проблема потребления памяти. Сессия будет отслеживать все загруженные объекты, и если мы загрузим много данные, это в конечном итоге вылетает с исключением из-за недостатка памяти.

Вероятно, это и есть причина. Вы гарантировали, что сессия не отслеживает объекты? Попробуйте выбрать не сущности, а некоторых из них, чтобы проверить это.

...