Получить результат от функции в партиях

Question

У меня есть функция, которая получает x номеров или элементов из списка SharePoint. Он принимает предметы партиями. После каждой партии я что-то делаю с предметами, все уничтожаю и беру следующую партию для расчета. В настоящее время я считаю, чтобы использовать события. Так что есть событие для каждой партии. Это правильная стратегия или есть лучший способ сделать это? Я думаю, анонимные функции или что-то подобное?

    public static List<Item> GetAllItems(this List list, int rowLimit, List<string> fields, bool includeRoleAssignments, ILogger logger)
    {
        var result = new List<Item>();
        var ctx = list.Context;

        ListItemCollectionPosition position = null;
        var camlQuery = new CamlQuery();
        camlQuery.ViewXml =
        @"<View Scope='RecursiveAll'>
            <Query>
                <OrderBy Override='TRUE'><FieldRef Name='ID'/></OrderBy>
            </Query>
            <ViewFields></ViewFields>" +
            "<RowLimit Paged='TRUE'>" + rowLimit + "</RowLimit>" +
        "</View>";

        System.Net.ServicePointManager.SecurityProtocol = SecurityProtocolType.Tls | SecurityProtocolType.Tls11 | SecurityProtocolType.Tls12;

        do
        {
            try
            {
                using (var clonedCtx = ctx.Clone(ctx.Url))
                {
                    List listWithClonedContext = clonedCtx.Web.Lists.GetByTitle(list.Title);
                    clonedCtx.Load(listWithClonedContext);
                    clonedCtx.ExecuteQuery();

                    ListItemCollection listItems = null;
                    camlQuery.ListItemCollectionPosition = position;
                    listItems = listWithClonedContext.GetItems(camlQuery);


                    foreach (string field in fields)
                    {
                        clonedCtx.Load(listItems, includes => includes.Include(i => i[field]));
                    }

                    if (!includeRoleAssignments) { 
                        clonedCtx.Load(listItems, item => item.ListItemCollectionPosition);
                    }
                    else { 
                        clonedCtx.Load(listItems, item =>
                        item.ListItemCollectionPosition,
                        item => item.Include(                       
                            i => i.RoleAssignments.Include(
                                ra => ra.Member,
                                ra => ra.Member.LoginName,
                                ra => ra.RoleDefinitionBindings.Include(rd => rd.Description, rd => rd.Name))));
                    }

                    clonedCtx.Load(listItems, item => item.ListItemCollectionPosition);
                    clonedCtx.ExecuteQueryWithIncrementalRetry(3, 1, logger);


                    // here i want to do something with items before next loop/batch

                    position = listItems.ListItemCollectionPosition;

                    if (position != null)
                    {
                        logger.WriteTrace(string.Format("Iteration on getting items performed: {0}", position.PagingInfo), SeverityLevel.Verbose);
                    }
                    else
                    {
                        logger.WriteTrace("Getting all items finished.", SeverityLevel.Verbose);
                    }
                    logger.Flush();
                }
            }
            catch (Exception ex)
            {
                logger.WriteException(ex);
            }
        }
        while (position != null);
        return result;
    }

Answer 1

Возможно, события являются опцией, но также может быть более простой способ их «потоковой передачи», вместо того, чтобы возвращать все сразу со списком.Поэтому используйте yield и измените на IEnumerable<Item>:

public static IEnumerable<Item> EnumerateItems(this List list, int rowLimit, List<string> fields, bool includeRoleAssignments, ILogger logger)
{
    // ...
    do
    {
        try
        {
            using (var clonedCtx = ctx.Clone(ctx.Url))
            {
                //...
                camlQuery.ListItemCollectionPosition = position;
                listItems = listWithClonedContext.GetItems(camlQuery);
                // ...
                foreach(Item x in listItems)
                {
                    yield return x;
                }
                position = listItems.ListItemCollectionPosition;
                // ...
    }
    while (position != null);
}

Таким образом, вы можете начать обрабатывать их, пока вы все еще выбираете их, или вы можете отфильтровать их, например, с помощью Where, Skip или Take без предварительной загрузки всех в память.