StackOverflowException при больших числах в рекурсивном алгоритме. Оптимизация? - PullRequest
2 голосов
/ 01 августа 2020

Задача: мне нужно распределить сумму пакетов в контейнеры с разной емкостью.

Каждая емкость имеет ограничения: минимальное и максимальное количество пакетов.

Количество пакетов должно быть равно или меньше сумма выбранных емкостей контейнеров.

Вместимость хранится в базе данных. Сумма пакетов запрашивается у пользователя и может быть десятичной.

Результатом должна быть совокупность емкостей для каждого контейнера. Нет ограничений на количество результатов.

У меня есть рекурсивное решение, написанное на C#, но оно вылетает из-за StackOverflowException для больших сумм пакетов.

// returns all combinations of capacity max and min values which package sum could include
static IEnumerable<List<int>> GetCombinations(int[] set, int sum, List<int> values)
{
    for (var i = 0; i < set.Length; i++)
    {
        var left = sum - set[i];
        var vals = new List<int>(values);
        vals.Add(set[i]);

        if (left == 0)
        {
            yield return vals;
        }
        else
        {
            int[] possible = set.Where(n => n <= sum).ToArray();
            if (possible.Length > 0)
            {
                foreach (var s in GetCombinations(possible, left, vals))
                {
                    yield return s;
                }
            }
        }
    }
}

Код вызова, где packageCapacities содержит свойства Count (что в действительности является MaxCount) и MinCount:

var allCapacityValues = packageCapacities
    .SelectMany(x => Enumerable.Range((int)x.MinCount, (int)x.Count - (int)x.MinCount + 1))
    .OrderByDescending(x => x)
    .ToArray();
// gets first combination, sort numbers in it and distinct it
var combination = GetCombinations(allCapacityValues, (int)Math.Ceiling(contentData.FactCount), new List<int>())
    .Select(x => x.OrderByDescending(o => o))
    .Distinct(new EnumerableComparer<int>())
    .FirstOrDefault();

Изображение с примером решения где две емкости и сумма 13, которая распределяется на 3 размера контейнера.

Воспроизводимый код:

using System;
using System.Collections.Generic;
using System.Linq;

namespace Data.Services
{
    public class ContainerGenerationService1
    {
        public void GenerateContainersWorks()
        {
            int capacity1Min = 4;
            int capacity1Max = 5;
            int capacity2Min = 2;
            int capacity2Max = 2;
            int[] set = Enumerable.Range(capacity1Min, capacity1Max - capacity1Min + 1)
                .Concat(Enumerable.Range(capacity2Min, capacity2Max - capacity2Min + 1))
                .ToArray();
            int sum = 13;

            var combination = GetCombinations(set, sum, new List<int>())
              .Select(x => x.OrderByDescending(o => o))
              .Distinct(new EnumerableComparer<int>())
              .FirstOrDefault();
        }

        public void GenerateContainersFails()
        {
            int capacity1Min = 3;
            int capacity1Max = 9;
            int[] set = Enumerable.Range(capacity1Min, capacity1Max - capacity1Min + 1).ToArray();
            int sum = 999999;

            var combination = GetCombinations(set, sum, new List<int>())
              .Select(x => x.OrderByDescending(o => o))
              .Distinct(new EnumerableComparer<int>())
              .FirstOrDefault();
        }


        static IEnumerable<List<int>> GetCombinations(int[] set, int sum, List<int> values)
        {
            for (var i = 0; i < set.Length; i++)
            {
                var left = sum - set[i];
                var vals = new List<int>(values);
                vals.Add(set[i]);

                if (left == 0)
                {
                    yield return vals;
                }
                else
                {
                    int[] possible = set.Where(n => n <= sum).ToArray();
                    if (possible.Length > 0)
                    {
                        foreach (var s in GetCombinations(possible, left, vals))
                        {
                            yield return s;
                        }
                    }
                }
            }
        }

        class EnumerableComparer<T> : IEqualityComparer<IEnumerable<T>> where T : IComparable<T>
        {
            public bool Equals(IEnumerable<T> first, IEnumerable<T> second)
            {
                if (first == second)
                    return true;
                if ((first == null) || (second == null))
                    return false;

                return new HashSet<T>(first).SetEquals(second);
            }

            public int GetHashCode(IEnumerable<T> enumerable)
            {
                return enumerable.OrderBy(x => x)
                  .Aggregate(1, (current, val) => current + val.GetHashCode());
            }
        }
    }
}

Телефонный код:

var svc = new ContainerGenerationService1();
svc.GenerateContainersWorks(); // works
svc.GenerateContainersFails(); // fails with StackOverflowException

1 Ответ

1 голос
/ 02 августа 2020

Переполнение стека ни в коем случае не единственная проблема вашего кода, но давайте начнем с этого. GetCombinations вызывает себя рекурсивно. Когда вы получаете сотни тысяч коллов, у вас заканчивается стек. Вы не можете использовать системный стек в этом случае, вам нужно больше места для хранения данных.

Здесь вы ищете только одно решение, но код, очевидно, написан с намерением вернуть все отдельные наборы. Но вам стоит пересмотреть подход. Вы создаете все варианты, а затем выбираете уникальные наборы и отбрасываете остальные. Это очень дорого. Мол, на несколько порядков хуже. Вы должны напрямую создавать отдельные наборы. Например, если у вас есть номер 6, следующим номером может быть 6, 5 или 4, но не 7.

Следующая большая проблема - это ситуации без решения. Вы можете довольно быстро найти какое-то решение, если оно существует. Но если нет, вы получите l oop во многих комбинациях. Вы можете использовать программирование Dynami c, чтобы решить эту проблему. Он сообщит вам, какие суммы действительны для контейнеров, которые у вас нет. И вы можете использовать его для дальнейшего повышения эффективности рекурсии.

Вы создаете новый List каждый раз, когда возвращаетесь из функции. Это безопасный подход. Но часто можно просто вернуть тот же список и изменить его. Для случаев вроде GetCombinations(...).Count() это более эффективно. Давайте соберем все вместе.

static IEnumerable<List<int>> GetCombinations(int[] set, int sum)
{
    var orderedSet = set.Distinct().OrderByDescending(o => o).ToArray();

    bool[] valid = new bool[sum + 1];
    valid[0] = true;
    for (int i = 0; i < sum; ++i)
    {
        if (valid[i])
        {
            for (int j = 0; j < orderedSet.Length; ++j)
            {
                int next = i + orderedSet[j];
                if (next < valid.Length)
                {
                    valid[next] = true;
                }
            }
        }
    }

    if (!valid[sum])
    {
        return new List<int>[0]; //no solution
    }

    return GetCombinationsRecurse(orderedSet, sum, new List<int>(), valid, 0);
    //return GetCombinationsNoRecurse(orderedSet, sum, valid);
}      

static IEnumerable<List<int>> GetCombinationsRecurse(int[] set, int sum, 
    List<int> values, bool[] valid, int setIterator)
{
    for (var i = setIterator; i < set.Length; i++)
    {
        var left = sum - set[i];
        if (left < 0 || !valid[left])
        {
            continue;
        }

        values.Add(set[i]);

        if (left == 0)
        {
            yield return values;
        }
        else
        {
            foreach (var s in GetCombinationsRecurse(set, left, values, valid, i))
            {
                yield return s;
            }
        }
        values.RemoveAt(values.Count - 1);
    }
}

Я привел здесь рекурсивную версию, потому что она соответствует вашему исходному коду и ей легче следовать. Но переполнение стека для больших чисел явно остается. Рекурсивную функцию всегда можно переписать в нерекурсивную версию. Вам нужно использовать некую структуру данных вместо системного стека. Либо стек, либо массив, либо что-то еще. Но, как правило, это не красиво

static IEnumerable<List<int>> GetCombinationsNoRecurse(int[] set, int sum, bool[] valid)
{
    List<int> sums = new List<int>() { 0 };
    List<int> setIterators = new List<int>() { 0 };
    int iter = 0;
    List<int> values = new List<int>() { set[iter] };

    while (true)
    {
        int actSum = sums[iter] + values[iter];
        int left = sum - actSum;
        if (left == 0)
        {
            yield return values;
        }

        if (left <= 0 || !valid[left])
        {
            while (++setIterators[iter] >= set.Length)
            {
                if (--iter < 0) { yield break; }
                values.RemoveAt(values.Count - 1);
            }
            values[iter] = set[setIterators[iter]];
            continue;
        }

        { // left > 0
            if (sums.Count > iter + 1)
            {
                sums[iter + 1] = actSum;
                setIterators[iter + 1] = setIterators[iter];
            }
            else
            {
                sums.Add(actSum);
                setIterators.Add(setIterators[iter]);
            }

            values.Add(values[iter]);
            iter++;
        }
    }
}
...